RECAL剪枝校准提升OPD数学推理恢复

研究者提出一种名为 RECAL（Recovery-Aware Calibration）的剪枝前校准方法，用于改善同策略蒸馏（OPD）的恢复效果。它通过未剪枝教师模型与剪枝探针之间的前向 KL，识别被剪枝破坏的教师支持预测，并重新加权校准统计量，引导现有剪枝准则保留这些预测。 据论文，在多种模型和剪枝方法上，RECAL 使 OPD 后的数学推理表现持续提升，AIME 最高提升 16.7 个百分点，多数代码生成对比也有改善。该结果出自作者在 arXiv 的论文，尚待独立验证。

AI 根据报道生成 · 58 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。