RGR正则化缓解LLM自改进能力退化

针对 On-Policy Self-distillation（OPSD）在提升 LLM 整体表现时会令早期已答对的问题逐渐答错的能力退化现象，研究者 Jiaqi Tian、Ting Long 提出 Representation Geometry Regularization（RGR），通过在训练后保持表示几何、增强簇内紧凑与簇间分离来缓解这一问题。 RGR 可接入现有 OPSD 方法而不改变其核心优化流程。研究者在多种 OPSD 方法和基准上实验后称，RGR 总体上缓解了能力退化，同时保留了能力提升。 代码已公开。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。