PreSO 提出特权表征隔离自蒸馏方法

Yuhang Yang 等研究者提出面向同策略自蒸馏（OPSD）的特权表征隔离方法 PreSO，用于解决教师优势依赖学生推理时不可得信息的问题。该方法用紧凑提示限制解细节进入特权偏移，并从跨问题池化的偏移中估计低秩子空间，将特权修正投影后加回学生表征作为蒸馏目标。 研究者在五个竞赛级数学基准上测试，称 PreSO 在 Qwen3-1.7B、4B 和 8B 上平均准确率较基座模型分别提升 6.8、9.0 和 10.0 分。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。