FUW令牌加权改进在线策略蒸馏

研究者 Narayanan Sadagopan、Yilan Chen、Vijay Lingam 发表论文，提出 Fisher Utility Weighting（FUW）令牌加权方法，用于在线策略蒸馏（OPD）中的 token 选择与加权。该方法从蒸馏目标推导 token 重要性：在等量局部 KL 预算下每个位置损失的下降幅度，效用公式为 s_t=g_t^⊤F_t^†g_t，其中 g_t 为 logit 梯度，F_t 为类别 Fisher 矩阵；reverse-KL 下等价于学生加权的师生对数概率比方差，forward-KL 下等价于 Pearson χ² 散度。 作者称，在七个数学推理基准和三个 Qwen3 学生-教师模型对上，FUW 相较匹配的均匀 OPD 均有提升：reverse-KL 下提升 1.35–4.0 个宏观百分点，forward-KL 下提升 1.08–2.71 个宏观百分点。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。