arXiv研究：跨分词器蒸馏不必全覆盖对齐

一篇 arXiv 预印本论文挑战了“扩大对齐覆盖即可提升跨分词器 On-Policy Distillation（OPD）效果”的假设。作者 Bingxi Hou 等称，在三组异构师生模型（涉及数学推理与代码生成）上，严格 1:1 对齐位置已覆盖学生生成的大部分 token，只把反向 KL 限制在共享词表中学生选定的 top-16 子集，即可达到全共享词表 OPD 的准确率，并优于所评估的跨 tokenizer 基线。 该结论基于论文自报的三组师生模型实验，是否适用于其他模型组合与任务尚未验证。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。