跳到正文

#评测/基准

今日 5 条
今天10月1日周四
  2. HuggingFace Daily Papers（社区热门论文）42

    A2Z GameSpec-Bench：编码智能体能多忠实地按游戏设计文档生成游戏？

    研究者推出 A2Z GameSpec-Bench，用 100 份长篇游戏设计文档（GDD）评测编码智能体的端到端游戏开发忠实度，每份 GDD 被转为含规则、约束与前置依赖的契约，并结合源码检查与智能体生成的测试策略做场景回放和自适应试玩。评测显示当前智能体难以同时满足代码实现与实际游玩中的相互依赖需求；针对具体需求的反馈相比两轮自我修订可将 GDD Fidelity 提升 10.9%。

  3. HuggingFace Daily Papers（社区热门论文）49

    WorldAuditBench：用多模态智能体审计交互式 3D 世界

    研究者推出 WorldAuditBench，一个面向 3D 世界审计的基准，包含 13 个环境中的 213 个异常任务，覆盖五类异常。在固定探索预算下评测五个前沿模型，两种审计范式的成功率仅 6.6% 至 42.3%，远低于人类的 83.4%。该基准用于研究多模态智能体如何在交互式 3D 环境中耦合动作与视觉推理。

9月30日周三
  1. Berkeley RDI：Blog（AI 安全与评测）70

    Berkeley RDI 发布 CyberGym 基准：1507 个真实漏洞评测 AI 智能体网络安全能力

    Berkeley RDI 推出 CyberGym 基准，覆盖 188 个开源项目的 1,507 个真实漏洞，规模是此前基准的 7.5 倍。评测显示最佳智能体单次尝试成功率约 30%，30 次尝试约 67%；智能体还自主发现 35 个零日漏洞和 17 个不完整补丁，Anthropic 已在 Claude-Sonnet-4.5 系统卡中采用该基准。

    推荐理由：原文给出基准规模、主流模型成绩与零日漏洞发现结果，读者可以据此了解AI安全能力评测的真实水平。

  2. Berkeley RDI：Blog（AI 安全与评测）76

    UC Berkeley 用 AI 智能体审计 13 个 AI 基准，发现 45 个满分作弊方案

    UC Berkeley 团队构建了一个全自动 AI 智能体，审计 FrontierCS、Terminal-Bench、WebArena 等 13 个常用 AI 基准，确认了 45 个无需真正解题即可刷高或拿满分的作弊方案，全部附可运行的 PoC，覆盖 16 种攻击类型。

    推荐理由：作者用自动化智能体实测了 13 个常用 AI 基准，找到 45 个可验证的作弊方案，并给出可落地的防作弊设计建议。

  6. METR：Research（网页）43

    METR 发布 AI 智能体评估任务标准 METR Task Standard

    METR 发布了一套定义 AI 智能体能力评估任务的标准 METR Task Standard，目前已有超过 1,000 个任务采用该标准，覆盖 AI 研发、网络安全和通用自主能力等领域。英国 AI Safety Institute 等机构也在使用该标准，以便与 METR 交换任务。该标准通过 2–6 个函数和一个常量完整定义任务族，支持任务可移植性与代码复用，未来计划成为公共资源。

  8. METR：Research（网页）54

    METR 发布 AI 自主能力评估示例协议

    METR 发布一份评估 AI 模型自主风险能力的示例协议，覆盖任务套件、引导流程和评分方法。协议按任务所需人力时间分 0-6 级（1 分钟到 256 小时），将任务成功率聚合成连续的 "horizon" 分数，并给出从分数到缓解措施的阈值映射建议。

  9. METR：Research（网页）46

    METR 发布前沿模型自主能力评估资源集，含任务套件与评估协议

    METR 公开了一套用于评估前沿模型潜在危险自主能力的资源，包括任务套件、软件工具、能力激发指南和评估协议示例。任务覆盖软件工程、ML 工程、网络安全与研究领域，难度从人类几分钟到一周不等，仅开源约 20 个示例任务的源码。该协议被定位为“beta”，METR 计划持续迭代改进。

  10. METR：Research（网页）47

    METR 更新通用能力评估：新增约 50 项任务与人类基线，公布 GPT-4o 和 Claude 初步结果

    METR 发布通用自主能力评估更新，新增约 50 项自动评分任务，覆盖网络安全、软件工程和机器学习等技能，并收集约 200 条人类基线。初步结果显示，基于 Claude 3.5 Sonnet 和 GPT-4o 的智能体完成任务的比例与人类基线者约 30 分钟的表现相当；GPT-4o 智能体可完成约 60% 人类 15 分钟内完成的任务，以及约 10% 人类耗时超 4 小时的任务。

  14. METR：Research（网页）73

    METR 发布 GPT-5 灾难性风险评估：三种威胁模型均不太可能构成重大风险

    METR 评估认为 GPT-5 不太可能通过 AI 研发自动化、恶意自我复制或战略破坏构成灾难性风险。其在智能体软件任务上的 50% 时间视界约为 2 小时 17 分钟（95% CI 65 分钟至 4 小时 25 分钟），高于 OpenAI o3 的 1 小时 30 分钟。

    推荐理由：METR 作为评估方亲历全程，报告给出时间视界测量、奖励作弊复查和情境 awareness 证据，可帮助读者理解第三方前沿模型风险评估的做法与局限。

  19. METR：Research（网页）70

    METR 发布前沿 AI 风险试点评估报告，Anthropic、Google、Meta 和 OpenAI 参与

    METR 自 2026 年 2 月起开展试点评估，测试前沿 AI 开发商内部使用的 Agent 的错位风险，Anthropic、Google、Meta 和 OpenAI 参与。

    推荐理由：报告给出多家前沿实验室参与的真实评估结果，读者可以据此了解当前模型在开放式任务和红队测试中的实际能力边界。

  21. METR：Blog（网页）45

    METR 外部审查 Anthropic 2025 夏季破坏风险报告

    METR 发布对 Anthropic 2025 夏季试点破坏风险报告的外部审查，认同 Claude Opus 4 和 4.1 造成灾难性破坏的风险很低。METR 认为报告证据总体清晰完整，但指出 Claim 2（Opus 4 无法在复杂任务中隐藏推理）对任务范围界定不够精确，可能导致对模型错位行为倾向和监控可靠性的结论过于自信。METR 还建议加强事件追踪、补充测试和训练数据过滤。

  24. Epoch AI：研究、数据与评测28

    Epoch AI 能力与基准测试中心：GPT-6 Astra 数学登顶，软件工程仍落后 Claude Fable 5.1

    Epoch AI 更新其 AI 基准与能力中心，汇总内部测试与外部数据。GPT-6 Astra 以 166 分登顶 Epoch Capabilities Index，Math-ECI 达 170 创纪录，但 SWE-ECI 164 仍落后 Claude Fable 5.1 的 167。该中心还显示，自 2023 年以来同等 AI 性能的成本每季度下降约 47%，年降约 13 倍。

  27. Epoch AI：研究、数据与评测44

    Epoch AI 的 Epoch Capabilities Index（ECI）能力指数如何构建

    Epoch AI 的 Epoch Capabilities Index（ECI）是一个综合指标，用超过 50 个基准的分数生成单一通用能力量表，模型在更难基准上表现越好，ECI 分数越高。其领域版 ECI 沿用通用 ECI 的基准难度与斜率、仅重新拟合 LLM 能力参数，Cyber ECI 因纳入通用 ECI 之外的网络安全基准而更新频率更低。ECI 代码已在公开仓库发布。

  28. Cognition 模型 / Devin 博客（网页）49

    FrontierCode 1.1 发布：区分合法与不公平的互联网使用

    Cognition 发布 FrontierCode 1.1，通过“公平使用互联网”提示词与程序化检测两项措施，将各模型的不公平联网行为降至 1% 以下。该版本还审计了 1000+ 条评分标准并放宽其中 75 条过严项，新增 Sonnet 5 分数并更新 Fable 5，此后仅报告 Main 与 Extended 子集，不再报告 Diamond 子集。

  32. ARC Prize：官方博客44

    ARC Prize 推出 SnakeBench：50 个 LLM 贪吃蛇对战基准

    ARC Prize 发布实验性基准 SnakeBench，用 2.8K 场 LLM 贪吃蛇头对头对战测试模型在动态环境中的实时决策与长期策略。o3-mini 与 DeepSeek-R1 在排行榜领先，ELO 分别为 1825 和 1801，推理模型在对阵其他 LLM 时赢下 78% 的对局。代码与结果已开源，完整 50 个 LLM 排行榜见 SnakeBench.com。

  34. ARC Prize：官方博客70

    ARC Prize 实测各大推理模型：ARC-AGI-1 无明显赢家，ARC-AGI-2 仍未被攻克

    ARC Prize 测试了各大实验室的 AI 推理系统，在 ARC-AGI-1 上得出准确率与成本的 Pareto 前沿，没有单一赢家：追求最高准确率选 OpenAI o3-medium/o3-high（o3-preview low 为 75.7% 但单任务 $200）。

    推荐理由：ARC Prize 用统一基准横向比较各大推理系统，给出按准确率、成本和效率选型的具体建议，可直接用于模型选型。

  35. ARC Prize：官方博客72

    ARC Prize 2025 结果与分析：NVARC 以 24.03% 夺冠，官方聚焦 refinement loop 与知识过拟合

    ARC Prize 2025 结束，Kaggle 冠军 NVARC 在 ARC-AGI-2 私有集上取得 24.03%（每任务 $0.20），大奖仍未被认领；共 1,455 支队伍提交 15,154 份方案、90 篇论文，获奖方案与论文全部开源。

    推荐理由：官方复盘 ARC Prize 2025 结果，提出 refinement loop 框架，并分析知识过拟合与基准设计需要演进的问题。