多模态LLM图表证据为何弱于表格

一项 arXiv 论文研究称，多模态 LLM 在科学论断验证中对图表的处理并非编码失败：图表信息已被编码进中间表示，却未能到达预测位置，而表格证据不存在这种断连。 该结论基于对三个开源权重 VLM 的逐层线性探针与注意力分析，测试中表格与图表承载相同底层数据，断连现象在所有测试条件下均成立。注意力分析还显示，不同模型家族存在两种架构上不同的断连形式。 作者 Sunisth Kumar 等人将这一机制归为“编码了但没被路由”，即模型内部已获得图表信息，但未将其用于最终预测。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。