无数据在线策略蒸馏DF-OPD研究

Gengsheng Li等人发表论文，提出无数据在线策略蒸馏（DF-OPD）：不依赖外部训练数据，由系统自生成问题即可达到全量数据在线策略蒸馏（OPD）的水平。 研究先发现在线策略蒸馏对真实数据的依赖远低于预期——仅用8条真实提示词训练，效果即可媲美17k道题；据此，DF-OPD自生成64个问题就能达到全量数据OPD的效果。在多教师场景下，作者称1k个生成问题可媲美约7k条真实后训练样本。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。