提出反事实语义显著性框架评估VLM与人类场景理解差距

1. 12:00
   arXiv：cs.AI

   研究揭示人类与 VLM 场景描述之间的语义显著差距

   研究者提出 Counterfactual Semantic Saliency（CSS）黑盒框架，通过因果消融物体衡量场景语义变化，以评估 VLM 与人类的语义对齐。测试覆盖 307 个复杂自然场景、1,306 个反事实变体及 16,603 条人类心理物理学基线回答，发现模型比人类更依赖大物体、中心物体和高显著度物体，对人物的依赖则低于人类。模型的尺寸偏差是解释人机语义分歧变化的主要因素。

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。