免训练方法ResOT缓解LVLM物体幻觉

研究人员提出免训练方法 ResOT，用于缓解大型视觉语言模型（LVLM）的物体幻觉。该方法在推理阶段进行局部化分布对齐，修复模型的隐藏表示：把主要幻觉方向投影出忠实子空间，得到低维残差子空间，再用高斯最优传输对齐幻觉分布与忠实分布，并自适应控制每个 token 状态向传输目标的移动幅度。 据作者称，在三个代表性 LVLM 上，ResOT 降低了物体幻觉，同时提升了图像描述质量和多模态基准性能，代码将开源。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。