arXiv：cs.CL（计算语言学，全量分类）· Haojin Wang, Dylan Zhang, Huaibo Chen, Suhao Yu, Yihang Sun, Zhanyang Jin, Jiaying Ye, Dianqi Li, Prasanna Sattigeri, Kamal Youcef-Toumi, Hao Peng·· 1 天前AI 评分36
OLIVE：在学生状态上学习教师续写，在线蒸馏新方法
Learning from Teacher Continuations at Student States
AI 导读
研究者提出在线蒸馏方法 OLIVE，每轮由学生策略生成新前缀、教师自回归续写，再用教师生成 token 上的交叉熵更新学生。在同等 GPU 小时成本下，OLIVE 推理表现优于采用 top-16 KL 近似的 OPD，异步实现进一步将总训练时间缩短 23.8%。仅用 GPT-5.4-mini 的文本持续训练，OLIVE 在 ScienceWorld 上比同一教师的离线 SFT 高出 13%。
来源：arXiv：cs.CL（计算语言学，全量分类） · arxiv.org