免训练方法TGAS缓解剪枝推理模型不停机

Minh-Anh Nguyen 等作者提出免训练方法 TGAS，用于缓解剪枝后的大推理模型在正确答案已出现后仍陷入重复循环、超出 token 预算的“停不下来”问题。 研究称剪枝大推理模型的精度下降多源于无法停止，而非推理能力受损：稀疏度提高后模型更常重复循环，但仍能识别密集模型的停止位置。TGAS 的做法是在推理时把这一方向加入残差流，无需重新训练。 相关结论来自 arXiv 论文，尚属作者提出的方法，不是已验证的通用效果。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。