研究：注意力汇形成前隐状态频谱重组
热点事件持续更新
研究：注意力汇形成前隐状态频谱重组
1 篇报道1 个报道来源21 小时前更新
先了解这件事
AI 综述
一项 arXiv 论文称，注意力汇形成前约 2 至 3 层，模型隐藏状态会出现短暂的频谱重组，该信号强于当前注意力信息；作者为 Fan Yang、Yue Song。 研究在 Qwen2.5、GLM-Z1 和 GPT-OSS 上，仅修改当前注意力计算后层隐藏状态的奇异值，即可相对范数匹配的随机频谱扰动改变后续注意力汇行为；在 Qwen2.5 中，该抑制效应伴随下一层对位置 0 的 query-key 偏好下降。作者据此称，直接扰动这一几何可因果性地改变后续注意力汇的形成。
AI 根据报道生成 · 2 小时前更新
最新进展10月15日 12:00
研究揭示注意力汇形成前的隐藏状态几何特征，并可通过扰动该几何影响其形成报道时间线
沿着报道，了解事件的不同侧面。
10月15日
- arXiv：cs.AI研究揭示注意力汇形成前的隐藏状态几何特征，并可通过扰动该几何影响其形成
研究对比同一模型同一层不同提示词发现，注意力汇形成前约 2 至 3 层会出现短暂的隐藏状态频谱重组，该信号强于当前注意力信息。在 Qwen2.5、GLM-Z1 和 GPT-OSS 上，仅修改当前注意力计算后层隐藏状态的奇异值，即可相对范数匹配的随机频谱扰动改变后续注意力汇行为；在 Qwen2.5 中该抑制效应伴随下一层对位置 0 的 query-key 偏好下降。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。