ARC Prize 用 ARC-AGI-3 分析 GPT-5.5 与 Opus 4.7 的推理失败模式
ARC Prize 通过 160 段回放与推理轨迹分析 GPT-5.5 和 Opus 4.7 在 ARC-AGI-3 上的表现，分数分别为 0.43% 和 0.18%（半私域数据集测试），并开源分析包。
推荐理由：ARC Prize 基于 160 段推理回放拆解两大模型的失败模式，指出总分掩盖了两者截然不同的推理缺陷。
评测基准
全部主题模型到底谁强：Benchmark 成绩、评测方法论争议与排行榜变化的持续记录。
最新精选
第 21–36 条 · 共 36 条ARC Prize：官方博客精选AI 评分6666 Berkeley RDI：Blog（AI 安全与评测）精选AI 评分6666 Berkeley RDI 发布 Agents' Last Exam 基准，前沿智能体在最难任务上全部 0% 通过
UC Berkeley RDI 发布 Agents' Last Exam（ALE）基准，用来自 55 个职业、1500 多个专家来源的真实任务评测前沿 Agent，任务源自人类专家完成过的真实项目，可客观验证、可复现。
推荐理由：原文给出各前沿智能体在 1500 多个真实职业任务上的通过率、成本差异和最难题的失败细节，可用作衡量 Agent 真实工作能力的参照。
Trail of Bits：AI安全研究精选AI 评分7070 Trail of Bits 批评 1Password 的 AI 补丁基准有误导性，并发布两个补丁验证 Agent 技能
Trail of Bits 发文批评 1Password 2026 年 8 月 6 日报告的 26% 干净修复率有误导性，指出其样本被挑选为复杂修复、22% 数据使用故意指示错误修复的提示词、36% 试验禁止编译测试，并披露评分规则与人工审查的分歧。
推荐理由：作者用自有的 Patch the Planet 合并率和开发者首次修复失败率作对照，说明该基准在样本、指令和评分上的问题。
Artificial Analysis 完整文章（网页）精选AI 评分6868 Artificial Analysis 评测 Grok 4.7：智能指数升至 46，编码 Agent 指数超越 GPT-5.6 Sol
Artificial Analysis 评测 Grok 4.7（xhigh），在 Intelligence Index 得 46 分（较 Grok 4.6 +2），使 SpaceXAI 进入前四。
推荐理由：独立评测给出了 Grok 4.7 在智能指数与编码 Agent 指数的具体得分、排名变化和 token 用量，可用于对比选型。
Artificial Analysis 完整文章（网页）精选AI 评分8484 Claude Opus 5.5 登顶 Artificial Analysis Intelligence Index 并降价 20%
Anthropic 发布 Claude Opus 5.5，以 58 分登顶 Artificial Analysis Intelligence Index，为该榜已测最高分。
推荐理由：第三方实测给出指数得分、价格变化和各档位性价比位置，读者可据此对比 Opus 5.5 与 GPT-6 Astra 等模型的表现。
Artificial Analysis 完整文章（网页）精选AI 评分7676 Artificial Analysis 评测 GPT-6 Sol 与 Luna：成本减半、智能指数持平
Artificial Analysis 评测 GPT-6 Sol 和 Luna，两者价格较 GPT-5.6 减半，Intelligence Index 持平，Sol 编码指数升 2 分至 57，Luna 降 2 分至 41。
推荐理由：原文以统一基准实测两款新模型的成本与能力变化，读者可据此判断价格减半后智能与编码表现的取舍。
Artificial Analysis 完整文章（网页）精选AI 评分7878 Claude Sonnet 5.5 登上 Artificial Analysis 智能指数第 2 名，token 用量创测量新高
Anthropic 发布 Claude Sonnet 5.5，在 Artificial Analysis 智能指数得分 56（max 档较 Sonnet 5 提升 18 分），仅次于 Opus 5.5 (max)。
推荐理由：原文给出 Sonnet 5.5 在智能指数、token 用量和成本上的具体数据，读者可据此对比其与 Opus 5.5 和 GPT-6 系列的实际取舍。
Artificial Analysis@ArtificialAnlys精选AI 评分7575推荐理由：独立评测方给出智能指数、每任务成本与 token 效率数据，读者可据此比较 GPT-6.1 Sol 与 Astra 的性价比定位。
Arena.ai@arena精选AI 评分7878引用Claude@claudeaiIntroducing Claude Sonnet 5.5, the second model in the Claude 5.5 family. It’s a clear upgrade over Sonnet 5, runs more than 30% faster, and costs up to 30% less for most work.
推荐理由：Arena 的实测榜单数据显示该模型以约 1/5 的成本进入 WebDev 前四，读者可据此权衡性价比选型。
The Decoder：AI News（RSS）精选AI 评分8282 Anthropic 发布 Claude Sonnet 5.5，基准接近 Opus 5.5 且单任务成本最多低 30%
Anthropic 发布 Claude 5.5 家族第二款模型 Claude Sonnet 5.5，输出速度提升超过 30%，单任务成本最多降低 30%，在多项基准上接近 Opus 5.5。
推荐理由：对比 Sonnet 5.5 与 Opus 5.5、Sonnet 5 的基准与定价，可看清中端模型在编码任务上的跃升与成本取舍。
Boris Cherny@bcherny精选AI 评分7070引用Claude@claudeaiIntroducing Claude Opus 5.5, the first model in our new Claude 5.5 family. It performs at the level of Claude Fable 5.1 for most tasks, and costs 40% less to run than Opus 5.
推荐理由：作者实测对比 Opus 5.5 与 Fable 5.1 移植 HAProxy 的用时和成本，给出第一手数据供选型参考。
Together AI 研究与产品博客（RSS）精选AI 评分6969 Together AI 实测 GLM-5.3 与 Claude Fable 5 在 DeepSWE 上的成本、编码与路由表现
Together AI 在 DeepSWE 的 113 个任务上各跑 4 次试验对比 GLM-5.3 与 Claude Fable 5，pass@1 分别为 69.0% 和 69.7%，属统计平手，但 GLM-5.3 每次 rollout 成本 $3.99，比 Fable 的 $21.63 低 5.4 倍。
推荐理由：原文基于同一批次 904 次 rollout 给出成本与 pass@k 对比，可帮助读者在两个相近模型间做默认与升级的路由选择。
Together AI 研究与产品博客（RSS）精选AI 评分7272 GLM-5.3 对比 GPT-5.6 Sol：Together AI 实测 113 个 DeepSWE 任务的成本、编码与路由
Together AI 在全部 113 个 DeepSWE 任务上对 GLM-5.3 (max) 与 GPT-5.6 Sol (max) 各跑 4 次试验，共 904 次 rollout。
推荐理由：原文基于904次实测给出两模型在成本、速度和任务类型上的具体差异，并提供了可直接套用的级联路由方案。
Together AI 研究与产品博客（RSS）精选AI 评分7171 DeepSeek V4 Pro 0813 对比 Claude Fable 5：DeepSWE 上的成本、编码与路由实测
Together AI 在 DeepSWE 全部 113 个任务上各跑 4 次试验，对比 DeepSeek V4 Pro 0813 与 Claude Fable 5。
推荐理由：原文基于 904 次 rollout 的实测数据，给出两模型在成本、失败模式和级联路由上的可迁移用法。
Hugging Face：Blog（RSS）精选AI 评分6060 Hugging Face 发布 Real World VoiceEQ 基准，测量语音 AI 的人类级表现质量
Real World VoiceEQ 基准发布，评估 40 多个语音模型在 15+ 维度、60+ 指标上的表现，涵盖 ASR、TTS、S2S 和语音理解，数据来自超 100 万条人类评分，含 78.5 万条 TTS 评分和 4.8 万条 STS 评分。
推荐理由：原文基于大规模人类评分指出传统语音基准高估真实表现，并给出可查阅的公开榜单与分项能力结论。
Answer.AI 官方研发博客（RSS）精选AI 评分7979 Answer.AI 团队实测 Devin 一个月：20 个任务仅 3 个成功
Answer.AI 团队对 Devin 进行一个月真实任务实测，20 个任务中 14 个失败、3 个无结论、仅 3 个成功，且无法预测哪些任务会成功。Devin 在处理现有代码库、研究类任务中常陷入技术死胡同或幻觉出不存在的功能，团队结论是其自主性反而成为负担，更倾向使用 Cursor 等由开发者主导的 AI 辅助工作流。
推荐理由：作者团队用一个月、20 个真实任务实测 Devin，给出了成败分布和与 Cursor 类工作流的对比，可作为评估自主编码智能体的参照。