ProD蒸馏方法缓解小模型Agent停滞

Yuanpu Cao 等研究者提出进展感知蒸馏（ProD），针对小语言模型（SLM）智能体在长交互轨迹被蒸馏后易陷入失败策略循环的"进展停滞"问题，将学生与教师的停滞差距编码为自适应 margin，动态惩罚停滞。 作者称，在 8 个 0.6B 至 8B 参数的 SLM 上、域内与域外基准测试中，ProD 显著缓解进展停滞，同时提升蒸馏 SLM 智能体的成功率和任务完成效率。该论文已被 NeurIPS 2026 接收。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。