研究者发布 AgentVQA 智能体视觉理解基准

Advait Gupta 等研究者提出离线基准 AgentVQA，用来评测视觉语言模型在 Web Agents、Robotics、Egocentric Videos、Games 和 Spatial Planning 五个智能体领域的视觉理解能力。据其介绍，该基准从 23 个源数据集人工挑选 1000 个真实案例构建，以便进行可靠的离线评估。 在已评测的 22 个模型中，表现最好的模型准确率仅为 58.5%，这一结果表明现有模型在真实智能体场景下仍有明显不足；该数字出自研究者自述的评测结果。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。