TRD：修正前缀失效的轨迹级蒸馏方法

针对大语言模型 on-policy 蒸馏（OPD）中前缀失效导致教师混合双峰、梯度碎片化的问题，Li Jiang 等作者提出轨迹级修正方法 TRD，在教师引导下修正学生 rollout 的问题前缀，并称该方法也可用于参数共享的 on-policy 自蒸馏（OPSD）。 在 OPSD 设置下，TRD 解出 Qwen3-8B 基础模型未能解决的 9/23 道 AMOBench 题目，作者称这一结果接近最强 dense-KL 基线的两倍。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。