语言模型中发现跨关系共享的上下文干扰干预头

一项被 AACL-IJCNLP 2026 接收的研究发现，语言模型存在可减少「上下文卷入」（contextual entrainment，即模型被上下文中无关内容带偏而复制干扰信息）的注意力头。作者 Jinghan Zheng、Jiajun Shi 用覆盖 19 种词汇语义子类型的 factual-distractor 关系补全提示定位这些头，并测试其跨关系迁移能力。 结果显示，同一语义族内的迁移效果优于跨族迁移；移除全局共享头后，族内残差减弱，而子类型专属搜索也反复找回许多全局头，说明这些干预头在不同关系间存在共享。干净补全与上下文使用探针表明，这种共享干预能减少有害复制，同时保留正常关系补全与简单上下文能力。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。