新框架大幅缩减推理后训练预算

Suorong Yang 等作者提交预印本论文，提出不确定性引导的渐进收缩推理后训练框架，据作者称，该方法仅用全量数据 SFT 优化预算的 0.22%、训练曝光减少超 450 倍，仍保持或提升推理性能。 该框架先用蒙特卡洛推理树刻画过程级不确定性，将原始语料压缩为紧凑教师池，再在 SFT 中按学生状态在线路由，把监督和优化集中在最有学习价值的推理轨迹上。作者称该方法可跨异构学生模型、黑盒教师和弱到强迁移泛化。上述效果均为论文陈述，尚未见独立验证。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。