arXiv：cs.CL（计算语言学，全量分类）· Yuanhe Zhang, Xinyao Zhou, Haoran Gao, Yuyao Zhang, Zhenhong Zhou, Fanyu Meng, Li Sun, Sen Su·· 2 小时前AI 评分41
通过残差流动态揭示大模型失控重复现象
Uncovering Uncontrolled Repetition through Residual Stream Dynamics
AI 导读
研究者提出 Tokenwise Residual Comparison（TRC）方法，通过比较生成过程中各 token 对残差流的注意力与多层感知机写入来定位重复异常，并选择性抑制对应层残差流坐标，平均降低循环率 57%。分析显示重复语义在浅层出现并沿残差流传播，破坏正常表征。TRC 在 LVLM、LLM 和 LRM 上均能捕获类似重复动态并有效缓解。
来源：arXiv：cs.CL（计算语言学，全量分类） · arxiv.org