PFN 上下文学习均值估计的梯度流分析论文发布

Martin Eppert 等作者在 arXiv 发布论文《Adaptive Mean Estimation by In-Context Learning: A Gradient-Flow Analysis》，分析 Prior Fitted Networks（如 TabPFN）在位置估计任务中如何习得统计自适应：softmax 注意力在标量输入上计算经验累积量生成函数的导数，同时生成区分数据族的特征，并在样本均值与中程之间插值。 作者将注意力专家通过 softmax 混合专家或门控线性单元（GLU）组合，并分析分阶段梯度流。他们称，在预训练任务量达到 Ω(n^{1+ε}) 的条件下，所学估计器在 Gaussian 任务上渐近有效，在 uniform 任务上达到极小极大率的 n^ε 因子内，在收缩方差情形下的混合分布上达到阶最优，且这些保证可扩展到新位置与更长上下文。这是论文给出的理论条件与结论。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。