研究：VLM 视觉注意力汇检测新方法

Dengjia Zhang 等作者在 arXiv 发表论文，研究视觉语言模型（VLM）中视觉注意力汇的检测与缓解。他们比较六种检测器与四个家族的十个 VLM，发现只有图像 token 的 key 与语言模型 text-sink 的 key 之间的中心化余弦相似度能识别视觉注意力汇，据此认为视觉汇是与 text-sink key 对齐的图像 token，即“借来的”而非直接看到的。 该结论来自论文作者对所选模型和检测器的比较，针对的是所测试的十个 VLM，尚未说明是否适用于其他模型或场景。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。