RealityBench发布评测VLM物理工作记录能力

Andrew Perrault 等（Relantic, Inc.）发布 RealityBench，在 Blender 中构建覆盖 11 种环境的模拟物理工作场景，评测视觉语言模型能否判断画面适合作工作凭证，以及理解现场任务状态。 对 26 个视觉语言模型的测试显示，当答案以文字出现在画面中时，顶级模型基本能完成记录任务，但在读取测量值和判断小零件、空间关系（例如卷尺是否倾斜）上表现薄弱。在可追溯可接受性错误来源的三类环境中，多数错误拒绝源于误读画面而非误读要求；在三个有真实图像对照的记录问题上，渲染帧上的模型排名可迁移到真实图像。 最佳模型的可接受性判断仅相当于单个非作者标注者，成本与人工通过相当，说明该基准目前更多用于暴露模型在物理工作记录上的具体短板，而非证明其可替代人工审核。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。