SAGE：引导视觉语言解码器注意力转向查询相关区域

韩国研究者 Jeonghyo Song 与 YoungJoon Yoo 发表论文，提出 SAGE（Sink-Aware Guided Emphasis）方法，将视觉语言模型解码器的注意力从 PIS 引导至与查询相关的感兴趣区域（ROI）。 论文称，解码器注意力呈分层结构：首尾层存在与提示无关、固定落在同一批图像区域上的 PIS（Prompt-Invariant Sinks），中间层才由提示驱动并支撑视觉-语言对齐。SAGE 利用 CLIP、ViT、DINOv3 等标准视觉骨干网络生成的、与 token 对齐的 ROI 掩码实现这一引导。 论文将 SAGE 描述为一种轻量干预，但报道未给出其在不同模型或任务上的验证结果与量化效果。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。