跳到正文
热点事件持续更新

ServiceNow与McGill发布AgentHorizon评判基准

1 篇报道1 个报道来源3 小时前更新

先了解这件事

AI 综述

ServiceNow 与 McGill 发布论文与评判基准 AgentHorizon,用于测试 AI 评委判断 computer-use 长任务的表现。该基准包含 1,373 个评判任务,来源是人类屏幕录制及指令互换后的近似任务。 研究发现,AI 评委仍会漏掉长任务中的细微错误,即使为其提供工具,表现也不稳定。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月14日
  1. Rohan Paul
    ServiceNow 与 McGill 新论文:AI 评委难辨长任务细微错误

    ServiceNow 与 McGill 新论文发现,AI 评委仍会漏掉长 computer-use 任务中的细微错误,给它工具也不稳定有用。研究构建了 AgentHorizon,含 1,373 个来自人类屏幕录制、指令互换的近似任务评判样本。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。