Flux-OPD：以演化上下文做同策略蒸馏

Yuran Wang 等作者提出一种新的同策略蒸馏（OPD）范式 Flux-OPD，把任务反馈衍生的演化上下文用作训练中的监督信号。作者称实验显示该方法在各类 OPD 范式中表现最佳。 其做法是通过 reverse-KL 分解刻画上下文蒸馏，将“上下文条件教师”与“无上下文教师”的差异作为上下文修正注入，并按冲突项加权修正强度。作者称，实验结果体现了将教师监督与演化上下文结合作为训练中监督的潜力。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。