新论文用势函数降低语言模型期望估计方差

Francesco I. Re 等人发表论文，提出一种利用自回归语言模型采样时自然产生的下一 token 条件概率的期望估计方法。该方法通过势函数（前缀上的实值函数，可将测试泛函加性分解）构建估计器，使估计方差取决于所选势函数，并推导出势函数能降低方差的条件。 论文称，针对多种估计目标开发的实用势函数在计算成本相当的情况下实现了显著方差降低。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。