研究提出EICS指标与CASP-VL基准，发现VLM空间关系表征缺失

Shubh Garg、Chen Shani 发布论文，提出 EICS 指标与 CASP-VL 基准，用于检测视觉语言模型（VLM）的表征是否忠实编码概念。EICS 在受控的单概念干预下测试表征是否稳定编码概念，CASP-VL 则基于 Visual Genome 场景图构造因果控制的空间扰动。 研究发现，在多种 VLM 架构中，空间关系的表征忠实度显著低于词汇信息，即使同一模型在组合性基准上得分远高于随机水平。分析显示，关系可在谓词自身的 token 上被识别，但句子经 EOS token 或均值池化聚合成全局表示后即丢失。作者称这表明 VLM 未在下游所用表征中保留输入的关系信息，属于输出评估无法发现的系统性缺陷。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。