研究者提出免训练RED解码缓解音视频幻觉

Hyunjae Ra等人提出一种免训练的音视频幻觉缓解方法Relevant Evidence Decoding（RED），针对音视频大语言模型（AV-LLMs）的跨模态幻觉问题。该方法用点互信息量化音频与视频对预测的贡献，并按问题所需的证据类型选择性增强相关证据的作用。 据研究者称，RED无需训练即可识别与问题相关的证据并选择性强化其贡献，属于免训练方法。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。