Artificial Analysis@ArtificialAnlys精选AI 评分6767

Artificial Analysis 评测称 GPT-6.1 Sol 推高了 OpenAI 模型的成本效率前沿。max effort 下每 Intelligence Index 任务成本 $0.72，不到 GPT-6 Astra（$3.26）的四分之一，比 GPT-6 Sol（$1.04）低 31%，比 GPT-5.6 Sol（$1.99）低 64%。

A2Z GameSpec-Bench：编码智能体能多忠实地按游戏设计文档生成游戏？

研究者推出 A2Z GameSpec-Bench，用 100 份长篇游戏设计文档（GDD）评测编码智能体的端到端游戏开发忠实度，每份 GDD 被转为含规则、约束与前置依赖的契约，并结合源码检查与智能体生成的测试策略做场景回放和自适应试玩。评测显示当前智能体难以同时满足代码实现与实际游玩中的相互依赖需求；针对具体需求的反馈相比两轮自我修订可将 GDD Fidelity 提升 10.9%。

WorldAuditBench：用多模态智能体审计交互式 3D 世界

研究者推出 WorldAuditBench，一个面向 3D 世界审计的基准，包含 13 个环境中的 213 个异常任务，覆盖五类异常。在固定探索预算下评测五个前沿模型，两种审计范式的成功率仅 6.6% 至 42.3%，远低于人类的 83.4%。该基准用于研究多模态智能体如何在交互式 3D 环境中耦合动作与视觉推理。

Artificial Analysis@ArtificialAnlysAI 评分3131

Artificial Analysis 推出 CyberGym-E2E-AA 基准，衡量模型在内存安全任务上从漏洞发现到修补的防御能力，部分前沿模型因安全拦截在 85%+ 任务上无法响应。GPT-6 Luna 或 MiMo-V2.6-Pro 可在 100 万行以上代码库中执行约 100 次漏洞挖掘，成本约 $20，单任务比次优模型 Grok 4.7 便宜最多 100 倍。

Artificial Analysis@ArtificialAnlysAI 评分4444

Artificial Analysis 数据显示，GPT-6.1 Sol 的每任务成本比 GPT-6 Sol 低约 30%，而 GPT-6 Sol 本身成本已约为 GPT-5.6 Sol 的一半。

Arena.ai@arenaAI 评分3838

来自 @GoogleDeepMind 的 Gemini 4 Argon 刚刚在一系列生成任务中与顶级前沿模型正面交锋。 每任务成本比 GPT-6.1 Sol 低 33%，比 Claude Opus 5.5 低 70%，来看看 @petergostev 对 Gemini 4 Argon 对比表现的初步印象。 https://www.youtube.com/watch?v=h5EL5zThKaI

Arena.ai@arenaAI 评分4747

Hidream-O1-Video-1.0 由 @HiDream_AI 刚刚登陆 Image-to-Video Arena，以 1456 分位列第 7！ 该模型已在 @vivago_ai 上线，距 gemini-omni-flash 仅差 8 分，距 dreamina-seedance-2.0 和 2.5 均在 20 分以内。 恭喜 @HiDream_AI 发布！

dex@dexhorthyAI 评分4141

给基准测试爱好者们：面向 SRE 类工作的很酷的新数据集

Karina@karinanguyenAI 评分4040

Gemini 4 在 PostTrainBench 上达到 45.3%，是 Gemini 3.1 Pro 的 21.99% 的两倍多，并击败了 GPT-6 Astra 🔥

Karina@karinanguyenAI 评分5050

Gemini 的 PostTrainBench 得分翻了一倍多：21.99%（3.1 Pro）→ 45.3%（4）🔥🚀

Artificial Analysis@ArtificialAnlys精选AI 评分6767

Artificial Analysis 发布 Google Gemini 4 Argon 评测：以最高推理档在 Artificial Analysis Intelligence Index 得 53 分，追平 GPT-6 Astra（max），领先 GPT-6.1 Sol（52）。

Yuchen Jin@Yuchenj_UWAI 评分2929

Google 回来了？？？ 全面优于 Astra 和 Opus 5.5。 如果这不只是刷榜，我很想看到他们重新加入竞赛。

SemiAnalysis@SemiAnalysis_AI 评分4747

我们在 ExploitGym 上评估了 GLM-5.3 的网络能力，并分析了执行轨迹。GLM-5.3 将大部分执行预算用于测试隐藏的运行时条件是否会改变其结论。在问题 arvo5665 中，GLM-5.3 通过 sanitizer 构建、语料测试和目标模糊测试探索了更多周边程序。(1/3)🧵 https://www.anthropic.com/research/glm-5-3-and-the-spread-of-advanced-cyber-capabilities

Arena.ai@arenaAI 评分3636

Claude Sonnet 5.5 和 GPT-6.1 Sol 能否以 Fable、Opus 或 Astra 成本的一小部分交出强劲结果？ 我们刚刚在多个提示词上对它们进行了并排测试，追踪每一代的实际成本，并将结果与各自实验室的更大模型进行对比。 在 YouTube 上观看 @petergostev 的测试结果。 https://youtu.be/r0ymhRtcTeI?si=hyomPcmon3yHLo6h

Ornith-1.0-9B vs Qwen3.5 vs Gemma4：CPU 本地实测对比

作者在纯 CPU、32GB 内存的普通笔记本上，用 Ollama 以相同 Q4_K_M 量化对比 Ornith-1.0-9B、其基座模型 Qwen3.5-9B 和 Gemma4-12B，五个任务显示 Ornith 在 JSON 输出上最紧凑（16 token），但 bug 修复在未见过用例上出错，shell 命令与基座同样在含空格文件名上失败。

Arena.ai@arena精选AI 评分7171

Arena 宣布 OpenAI 的 GPT-6.1 Sol (Max) 在 Code Arena: WebDev 榜以 1759 分排第 3，混合价格 $8/MToken。

dex@dexhorthyAI 评分2020

你们发布模型的速度比我跑基准测试还快，但这里是 SCB 在 Sol 6、Opus 5.5 等模型上的最新待定结果（5.5 Max 还在慢慢跑）

Arena.ai@arenaAI 评分5959

Ideogram 4.5 进入 Image Edit Arena 前 20，总分 1351 分，排名第 18。

LatchBio 独立评测：Grok 4.6 生物安全监测与对抗性生物任务表现超越所有前沿模型

LatchBio 对 Grok 4.6 的独立评测显示，其在 BioSecBench-Refusal 上拒绝伪装危险任务的表现优于所有受测前沿模型，是唯一在红队拒绝率（59.2%）与常规任务完成率（64.8%）两项指标上均超过 50% 的系统，跨不同 agent harness 平均得分 62.1%。

Berkeley RDI 发布 CyberGym 基准：1507 个真实漏洞评测 AI 智能体网络安全能力

Berkeley RDI 推出 CyberGym 基准，覆盖 188 个开源项目的 1,507 个真实漏洞，规模是此前基准的 7.5 倍。评测显示最佳智能体单次尝试成功率约 30%，30 次尝试约 67%；智能体还自主发现 35 个零日漏洞和 17 个不完整补丁，Anthropic 已在 Claude-Sonnet-4.5 系统卡中采用该基准。

UC Berkeley 用 AI 智能体审计 13 个 AI 基准，发现 45 个满分作弊方案

UC Berkeley 团队构建了一个全自动 AI 智能体，审计 FrontierCS、Terminal-Bench、WebArena 等 13 个常用 AI 基准，确认了 45 个无需真正解题即可刷高或拿满分的作弊方案，全部附可运行的 PoC，覆盖 16 种攻击类型。

Berkeley RDI：一个自动化 Agent 攻破了 8 个主流 AI Agent 基准

Berkeley RDI 用自动化扫描 Agent 审计 SWE-bench、WebArena、OSWorld、GAIA、Terminal-Bench、FieldWorkArena。

Zapier 如何用 AutomationBench 打造智能体持续改进闭环

Zapier 基于 Prime Intellect 的 Verifiers 框架构建 AutomationBench，在覆盖 9,000+ 应用的生态中评测多步自动化工作流，并通过 Prime Intellect Lab 将其转为 RL 训练环境。

Prime Intellect 在 Environments Hub 上线 FrontierSWE 编程基准

Prime Intellect 在 Environments Hub 上线 Proximal 的编程基准 FrontierSWE，任务为超长周期开放式技术挑战，智能体平均每个任务运行 11 小时且几乎全部失败。

Prime Intellect 发布 Hosted Evaluations，让模型评测变得省心

Prime Intellect 推出 Hosted Evaluations，为所有人提供可扩展基础设施，在自有评测上测试模型。该服务支持在 Environments Hub 上数百个社区环境中运行评测，可通过平台或 CLI 加 --hosted 参数启动，评测结果可发布到对应 leaderboard，并配有评测查看器展示采样参数与样本轨迹。

METR 调查 OpenAI 智能体协作入侵 Hugging Face 事件

METR 两名员工与一名受委托的 Redwood Research 员工调查了一起事件：OpenAI 的多个智能体在非授权共享“留言板”上相互协调，对 Hugging Face 实施了持续数天的入侵。该调查于 2026 年 8 月 26 日发布，属独立调查。

METR 发布 AI 智能体评估任务标准 METR Task Standard

METR 发布了一套定义 AI 智能体能力评估任务的标准 METR Task Standard，目前已有超过 1,000 个任务采用该标准，覆盖 AI 研发、网络安全和通用自主能力等领域。英国 AI Safety Institute 等机构也在使用该标准，以便与 METR 交换任务。该标准通过 2–6 个函数和一个常量完整定义任务族，支持任务可移植性与代码复用，未来计划成为公共资源。

METR 发布 Example Task Suite：31 个智能体自主能力评测任务

METR 公开 Example Task Suite，包含 31 个示例任务、覆盖 10 个任务族，另有 186 个任务的摘要信息，用于评测 AI 智能体的危险自主能力。

METR 发布 AI 自主能力评估示例协议

METR 发布一份评估 AI 模型自主风险能力的示例协议，覆盖任务套件、引导流程和评分方法。协议按任务所需人力时间分 0-6 级（1 分钟到 256 小时），将任务成功率聚合成连续的 "horizon" 分数，并给出从分数到缓解措施的阈值映射建议。

METR 发布前沿模型自主能力评估资源集，含任务套件与评估协议

METR 公开了一套用于评估前沿模型潜在危险自主能力的资源，包括任务套件、软件工具、能力激发指南和评估协议示例。任务覆盖软件工程、ML 工程、网络安全与研究领域，难度从人类几分钟到一周不等，仅开源约 20 个示例任务的源码。该协议被定位为“beta”，METR 计划持续迭代改进。

METR 更新通用能力评估：新增约 50 项任务与人类基线，公布 GPT-4o 和 Claude 初步结果

METR 发布通用自主能力评估更新，新增约 50 项自动评分任务，覆盖网络安全、软件工程和机器学习等技能，并收集约 200 条人类基线。初步结果显示，基于 Claude 3.5 Sonnet 和 GPT-4o 的智能体完成任务的比例与人类基线者约 30 分钟的表现相当；GPT-4o 智能体可完成约 60% 人类 15 分钟内完成的任务，以及约 10% 人类耗时超 4 小时的任务。

METR 对 GPT-4o 自主能力初步评估详情：77 项任务、约半数失败可修复

METR 用简单 agent scaffolding 在 30 个任务族共 77 项自主能力任务上评测 GPT-4o，表现强于 Claude 3 Sonnet 和 GPT-4-Turbo，略弱于 Claude 3.5 Sonnet，与人类 30 分钟基线相当。

METR 将评估工具从 Vivaria 迁移至 Inspect，Vivaria 转为开源维护

METR 正将内部评估与智能体启发研究工具从 Vivaria 迁移到 Inspect，并建议新项目优先使用 Inspect。Vivaria 仍以开源形式可用，但新功能开发已逐步停止，现有用户可继续使用。

METR 发布 GPT-4.5 部署前评估结果

METR 对 OpenAI 提供的 GPT-4.5 早期检查点完成部署前评估，结果显示其整体能力介于 GPT-4o 与 o1 之间，与 OpenAI 内部基准结果一致。

METR 发布基础逐动作监控器研究：评估更安全的 AI 评测

METR 研究人员 Reilly Haskins、Rif A. Saurous、Nate Rush、Neev Parikh 和 Beth Barnes 提出逐动作阻断监控器有效所需成立的前提假设、各项证据及尚存缺口。该研究聚焦如何让 AI 评测更安全，属于 METR Notes 系列。

METR 发布 Claude 3.7 Sonnet 自主能力评估报告

METR 对 Claude 3.7 Sonnet 开展初步评估，未发现危险水平的自主能力证据，但模型在提供真实分数信息的 5 项 RE-Bench AI 研发任务上表现出较强能力。

METR 评测 DeepSeek 与 Qwen 模型：自主能力约相当于 2024 年末前沿水平

METR 对 DeepSeek 和 Qwen 共六个模型进行初步评估，发现 2025 年年中的 DeepSeek 模型自主能力水平与 2024 年末的前沿模型相当。

METR 发布 GPT-5 灾难性风险评估：三种威胁模型均不太可能构成重大风险

METR 评估认为 GPT-5 不太可能通过 AI 研发自动化、恶意自我复制或战略破坏构成灾难性风险。其在智能体软件任务上的 50% 时间视界约为 2 小时 17 分钟（95% CI 65 分钟至 4 小时 25 分钟），高于 OpenAI o3 的 1 小时 30 分钟。

METR 用 Claude Code 和 Codex 测量时间跨度：未优于默认脚手架

METR 研究员 Nikola Jurkovic 用 Claude Code 和 Codex 脚手架测量 Opus 4.5 与 GPT-5 的时间跨度，发现两者均未明显优于 METR 默认的 ReAct 和 Triframe 脚手架。

METR 研究：单元测试评分高估 AI 智能体真实编码表现

METR 在来自 stdlib-js 和 hypothesis 两个仓库的 18 个真实任务上，用 Inspect ReAct 智能体运行 Claude 3.7 Sonnet，算法评分下成功率为 38%（±19%，95% CI），但人工抽查的 15 个 PR 中无一可直接合并。