跳到正文
热点事件观察中

研究者发布企业多模态智能体评测基准

1 篇报道1 个报道来源1 天前更新

先了解这件事

AI 综述

研究者提出 MMEnterprise-Bench,这是一个包含 1,613 道问题的基准,用于评估智能体在模拟协作项目不断演化的多模态工作记录上的表现,涵盖证据推理、冲突消解和不可回答三类任务,论文称代码与数据已公开。 对 10 个闭源与开源多模态大模型的评测显示,最强模型在跨来源或跨时间的冲突、以及证据分散在多张图片时仍表现吃力。研究者称,提高检索预算或换用更大的检索器能提升证据召回率,但未稳定转化为更高的答题准确率。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月20日
  1. HuggingFace Daily Papers
    MMEnterprise-Bench:评估智能体在演化多模态工作记录上的表现

    研究者提出 MMEnterprise-Bench,一个包含 1,613 道问题的基准,基于模拟协作项目中不断演化的多模态记录,覆盖证据推理、冲突消解和不可回答三类任务。对 10 个闭源与开源多模态 LLM 的评测显示,即使最强模型在跨来源或时间冲突、以及证据跨多张图片时仍表现吃力;提高检索预算或换用更大检索器能提升证据召回率,却未稳定转化为更高的答题准确率。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。