PFN 摊销贝叶斯推理的误差来源与稀有场景分歧

一项 arXiv 机器学习研究从经验风险最小化视角拆解先验数据拟合网络（PFN）的部署误差，将其分为先验误差、上下文误差与摊销误差，并在真实先验下与参考 PPD 对比测量。结果显示，PFN 整体能较好还原目标 PPD，但残差摊销误差在预训练分布下的稀有场景中会持续存在。 研究称，这类残差摊销误差即便扩大模型规模也难以消除，表现为独立预训练的 PFN 之间出现分歧。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。