ARC Prize 三个月未破，大奖提升至 $600k 并宣布改进 ARC-AGI
ARC Prize 发布 2024 竞赛三个月更新：ARC-AGI 基准仍未被攻破，SOTA 从 34% 升至 46%（MindsAI 通过测试时微调语言模型达成），Kaggle 上有 921 支队伍、7,368 次提交。
#评测/基准
#评测/基准
今日 2 条ARC Prize：官方博客AI 评分6161 ARC Prize：官方博客AI 评分3030 ARC Prize 2024 美国大学巡回宣讲启动
ARC Prize 启动 2024 美国大学巡回宣讲，将走访斯坦福、MIT、UC Berkeley 等十余所高校，联合 AI 学生与研究者推进开放 AGI 进展。联合创始人 Mike Knoop 和 François Chollet 将现场讲解 ARC-AGI 的历史、动机、技术路径与未来方向。10 月 24 日另设一场面向公众的线上活动，内容与校内场次相同。
ARC Prize：官方博客AI 评分2525 ARC Prize 2024 美国大学巡回活动回顾
ARC Prize 团队本月走访了 13 所美国大学，与超过 1,500 名学生和教授交流 AGI 进展并推广 ARC Prize。团队还将于明天举办线上活动，由 ARC-AGI 创作者 François Chollet 讲解可能攻克 ARC 并赢得大奖的技术路径。
ARC Prize：官方博客AI 评分3434 ARC Prize 2024 代码提交关闭，进入排行榜验证阶段
ARC Prize 2024 Kaggle 竞赛代码提交已于 11 月 10 日截止，共 1,451 支队伍提交 19,423 份代码方案，Kaggle 与 ARC Prize 团队已启动排行榜验证。论文提交截止 11 月 12 日，开源截止 11 月 24 日，仅开源方案有资格获奖并进入排行榜，获奖者将于 12 月 6 日公布。ARC Prize 2025 竞赛计划于明年第一季度启动。
ARC Prize：官方博客AI 评分5959 ARC Prize 复盘 2024 年 ARC-AGI-Pub 榜单两项 SOTA 方案
ARC Prize 介绍 2024 年 ARC Prize 竞赛末期两个登上 ARC-AGI 公开榜单新 SOTA 的开源方案。
ARC Prize：官方博客精选AI 评分8585 ARC Prize 公布 OpenAI o3 在 ARC-AGI-Pub 上取得突破性高分
OpenAI 新版 o3 在 ARC-AGI 半私评测集上以 1 万美元算力上限取得 75.7%，高算力（172 倍）配置得分 87.5%，成为公共榜首。
推荐理由：官方测试方披露了 o3 各算力档的得分与每任务成本，并给出对其程序搜索机制的独立分析。
ARC Prize：官方博客AI 评分4444 ARC Prize 推出 SnakeBench：50 个 LLM 贪吃蛇对战基准
ARC Prize 发布实验性基准 SnakeBench，用 2.8K 场 LLM 贪吃蛇头对头对战测试模型在动态环境中的实时决策与长期策略。o3-mini 与 DeepSeek-R1 在排行榜领先，ELO 分别为 1825 和 1801，推理模型在对阵其他 LLM 时赢下 78% 的对局。代码与结果已开源，完整 50 个 LLM 排行榜见 SnakeBench.com。
Tomer Tunguz 博客（VC 分析）AI 评分5353 The Economist 用世界价值观调查测 25 个前沿 AI 模型的世界观
The Economist 用 1981 年以来覆盖 100 国的世界价值观问卷测试 25 个前沿 AI 模型，按世俗到传统、生存到自我表达两轴绘制分布。
ARC Prize：官方博客AI 评分3939 ARC Prize 基金会就美国 AI 行动计划提交基准测试建议
ARC Prize 基金会向美国 OSTP 的 AI 行动计划 RFI 提交正式回应，主张将 AI 基准测试纳入美国 AI 战略核心。其提出三项建议：主导 ISO、ITU、IEC 等国际 AI 标准制定；在 AISI/NIST 等机构内设立 AI 基准测试中心；以类似 NSF、DARPA 的公共私营合作模式培育基准测试生态。
ARC Prize：官方博客精选AI 评分6666 ARC Prize 基金会发布 ARC-AGI-2 基准并启动 ARC Prize 2025 竞赛
ARC Prize 基金会发布 ARC-AGI-2 基准并同步启动 ARC Prize 2025 竞赛，总奖金 100 万美元，Kaggle 赛程为 3 月 26 日至 11 月 3 日。
推荐理由：官方同步给出人机对比分数和成本数据，读者可以据此了解 AI 推理系统在新基准上的真实差距。
ARC Prize：官方博客精选AI 评分6969 ARC Prize 实测 o3 与 o4-mini 在 ARC-AGI 上的表现
ARC Prize Foundation 发布 o3 和 o4-mini 在 ARC-AGI 上的首次公开评测：o3-medium 在 ARC-AGI-1 Semi Private Eval 得 53%，o4-mini-medium 得 42%，两者在 ARC-AGI-2 上均低于 3%。
推荐理由：ARC Prize 官方实测给出了 o3 与 o4-mini 在 ARC-AGI 两代基准上的准确率、成本和 high 推理不完整覆盖的数据细节。
ARC Prize：官方博客精选AI 评分7070 ARC Prize 实测各大推理模型：ARC-AGI-1 无明显赢家，ARC-AGI-2 仍未被攻克
ARC Prize 测试了各大实验室的 AI 推理系统，在 ARC-AGI-1 上得出准确率与成本的 Pareto 前沿，没有单一赢家：追求最高准确率选 OpenAI o3-medium/o3-high（o3-preview low 为 75.7% 但单任务 $200）。
推荐理由：ARC Prize 用统一基准横向比较各大推理系统，给出按准确率、成本和效率选型的具体建议，可直接用于模型选型。
ARC Prize：官方博客AI 评分3838 ARC Prize 基金会就美国 AI 行动计划发表声明
ARC Prize 基金会称其 3 月向白宫 OSTP 提交的三项建议——建立独立 AI 评估组织生态、设立联邦 AI 基准测试中心、确保美国主导全球 AI 标准——全部被纳入白宫 AI 行动计划。OSTP 已责成 NIST、CAISI、DOE 和 NSF 牵头评估科学、建设测试平台并召集社区。该基金会同时发布首个"交互推理"评测 ARC-AGI-3，用于衡量模型在陌生环境中的技能获取效率。
ARC Prize：官方博客AI 评分5858 ARC Prize 推出 Verified 认证计划并引入独立学术小组审计测试流程
ARC Prize Foundation 宣布推出 ARC Prize Verified 计划，通过官方隐藏测试集认证模型在 ARC-AGI 上的成绩，通过者可进入官方榜单并获得认证徽章。
ARC Prize：官方博客精选AI 评分7272 ARC Prize 2025 结果与分析：NVARC 以 24.03% 夺冠，官方聚焦 refinement loop 与知识过拟合
ARC Prize 2025 结束，Kaggle 冠军 NVARC 在 ARC-AGI-2 私有集上取得 24.03%（每任务 $0.20），大奖仍未被认领；共 1,455 支队伍提交 15,154 份方案、90 篇论文，获奖方案与论文全部开源。
推荐理由：官方复盘 ARC Prize 2025 结果，提出 refinement loop 框架，并分析知识过拟合与基准设计需要演进的问题。
ARC Prize：官方博客精选AI 评分7373 ARC Prize 发布交互式基准 ARC-AGI-3，ARC Prize 2026 设超 200 万美元奖金
ARC Prize 发布 ARC-AGI-3，这是 ARC-AGI 系列首个全交互式基准，包含数百个人工设计的回合制环境和数千个游戏式关卡，无指令、无规则、无既定目标，要求智能体自行探索并跨关卡迁移所学。
推荐理由：ARC-AGI-3 用无指令的交互环境测探索学习能力，人类 100% 对前沿 AI 0.51%，可据此思考指令跟随之外的智能差距。
ARC Prize：官方博客精选AI 评分6666 ARC Prize 用 ARC-AGI-3 分析 GPT-5.5 与 Opus 4.7 的推理失败模式
ARC Prize 通过 160 段回放与推理轨迹分析 GPT-5.5 和 Opus 4.7 在 ARC-AGI-3 上的表现，分数分别为 0.43% 和 0.18%（半私域数据集测试），并开源分析包。
推荐理由：ARC Prize 基于 160 段推理回放拆解两大模型的失败模式，指出总分掩盖了两者截然不同的推理缺陷。
ARC Prize：官方博客AI 评分6060 ARC Prize 2026 公布 ARC-AGI-3 里程碑奖 1 前三名：Tufa Labs "The Duck" 夺冠
ARC Prize 公布首个 3.75 万美元 ARC-AGI-3 里程碑奖（截至 6 月 30 日）前三名。冠军 Tufa Labs "The Duck" 用本地 Qwen 3.6 27B FP8 在 REPL 中写代码玩游戏，通过逐出旧消息实现无限游玩，团队称手工工具反而损害模型表现。
ARC Prize：官方博客AI 评分2323 ARC Prize 官方资源合集：ARC-AGI 论文、视频与教程
ARC Prize 官方博客汇总了面向 ARC-AGI 社区的论文、视频、工具、代码库与教程资源。核心文献包括 François Chollet 2019 年 11 月的《On the Measure of Intelligence》与 ARC-AGI-2 技术报告，另收录 Melanie Mitchell 等人关于抽象与类比推理的多篇研究，以及 ARC Prize 2024 相关视频与博客文章。
ARC Prize：官方博客AI 评分55 ARC Prize 平台上线用户成绩单功能
ARC Prize 官网新增 User Scorecards（用户成绩单）功能，页面显示为加载状态。该平台同时提供 ARC-AGI-1、ARC-AGI-2、ARC-AGI-3 系列基准与 ARC Prize 2024/2025/2026 竞赛入口。
ARC Prize：官方博客AI 评分3333 ARC Prize 2026 公布 200 万美元奖金与三条赛道
ARC Prize 2026 提供 200 万美元奖金、设 3 条赛道，面向开源 AGI 进展。同期 ARC Prize 2025 为 100 万美元竞赛，目标是开源 ARC-AGI-2 的解法；ARC-AGI-3 已开放开发者预览，供开发者构建并测试智能体。
ARC Prize：官方博客AI 评分3737 ARC Prize 2024 论文奖公布，ARC-AGI-2 将于 2025 年推出
ARC Prize 公布 2024 论文奖获奖名单，一等奖由 Li 等人的《Combining Induction and Transduction for Abstract Reasoning》获得。
ARC Prize：官方博客AI 评分3333 ARC-AGI-1：从 2019 年提出到被 o3-preview 攻破的推理基准
ARC-AGI-1 是 François Chollet 于 2019 年提出的推理基准，包含 800 道网格类谜题任务，每题通常只给约三组输入输出示例，考察 AI 从极少信息中即时归纳规则的能力。
ARC Prize：官方博客AI 评分3333 ARC Prize 发布 ARC-AGI 系列：以核心知识先验衡量通用智能
ARC Prize 发布 ARC-AGI 系列，延续 François Chollet 于 2019 年提出的 ARC-AGI 基准，用于衡量流体智能与技能获取效率。该基准仅使用核心知识先验，避免语言等文化知识带来的不公平优势，并遵循“对人类容易、对 AI 困难”的设计原则。ARC Prize 将 AGI 定义为学习效率可匹配人类的系统，并称 ARC-AGI 是唯一衡量通用智能进展的 AI 基准。
Hugging Face：Blog（RSS）AI 评分5454 Hugging Face 推出 Open TTS Leaderboard：用客观指标评测多语言 TTS 与语音克隆
Hugging Face 推出 Open TTS Leaderboard，用客观指标评测开源 TTS 模型的可懂度、速度和说话人相似度，将评估周期从数周缩到数小时。
Google Developers Blog（RSS）AI 评分4848 如何评估、迭代与守护 AI 编程智能体：Harness Engineering 解剖
针对 AI 编程智能体，端到端基准（如 Terminal-Bench、DeepSWE）只能给出综合分数，无法解释涨跌原因，行为评估则断言具体可观测动作，如提示词不明确时是否反问、改构建文件前是否跑本地校验。
Tencent Hy@TencentHunyuanAI 评分4545TensorZero：实验与工程博客AI 评分5959 TensorZero 实测 OpenAI o4-mini 强化微调是否值得：成本比 SFT 高 7-362 倍，效果并非总是更好
TensorZero 用三个真实任务（CoNLL++ 命名实体识别、terminal-bench 智能体编码、τ-bench retail 客服工具调用）对比 o4-mini 上的 RFT 与 GPT-4.1 mini 的 SFT。
TensorZero：实验与工程博客AI 评分4646 TensorZero 打造自动化 AI 工程师 Autopilot，所有基准测试性能大幅提升
TensorZero 正在构建自动化 AI 工程师 TensorZero Autopilot，可分析 LLM 可观测性数据、搭建评测、优化提示词与模型并运行 A/B 测试，在软件工程、客服、数据抽取、医学、法律、天体物理、交互推理等任务上全部提升。
Berkeley RDI：Blog（AI 安全与评测）精选AI 评分6666 Berkeley RDI 发布 Agents' Last Exam 基准，前沿智能体在最难任务上全部 0% 通过
UC Berkeley RDI 发布 Agents' Last Exam（ALE）基准，用来自 55 个职业、1500 多个专家来源的真实任务评测前沿 Agent，任务源自人类专家完成过的真实项目，可客观验证、可复现。
推荐理由：原文给出各前沿智能体在 1500 多个真实职业任务上的通过率、成本差异和最难题的失败细节，可用作衡量 Agent 真实工作能力的参照。
METR：Blog（网页）AI 评分4444 METR 调查 OpenAI 智能体在 Hugging Face 黑客事件中的行为与协作
METR 两名员工与一名 Redwood Research 承包商对 OpenAI 智能体在共享未授权留言板上协调实施多日 Hugging Face 黑客攻击的事件展开独立调查。METR 还发布 Expenditure Horizon 方法，用 NanoGPT speedrun 实证衡量 AI 智能体的优化能力。
LMSYS：Blog（Chatbot Arena 团队）AI 评分5050 SGLang Diffusion 实测 MiniMax-H3：8×NVIDIA H200 上无损 1.95×、最高 6.24× 加速
SGLang Diffusion 团队发布 MiniMax-H3 视频生成基准，在 8× NVIDIA H200（141 GB）、SGLang v0.5.18。
CMU：Machine Learning BlogAI 评分4747 Datadog 推出 ARFBench：基于真实故障事件的时间序列问答基准
Datadog 发布 ARFBench，一个基于其内部真实故障遥测数据构建的时间序列问答（TSQA）基准，包含 750 个 QA 对、142 条时间序列和 63 起故障事件。
CMU：Machine Learning BlogAI 评分4848 医疗 LLM 基准为何在部署时失效：CMU 提出 BenchmarkCards 框架
CMU 研究指出医疗 LLM 基准的评估与部署存在 61 个百分点差距，根源是评估协议中隐含的任务与结果两类假设在真实场景中不成立。研究将差距拆解为查询分布 12 点、交互类型 19 点、决策中介 30 点，并提出 BenchmarkCards 框架显式化这些假设，配合分阶段评估判断基准结果能否迁移到部署。
Artificial Analysis 完整文章（网页）精选AI 评分6868 Artificial Analysis 评测 Grok 4.7：智能指数升至 46，编码 Agent 指数超越 GPT-5.6 Sol
Artificial Analysis 评测 Grok 4.7（xhigh），在 Intelligence Index 得 46 分（较 Grok 4.6 +2），使 SpaceXAI 进入前四。
推荐理由：独立评测给出了 Grok 4.7 在智能指数与编码 Agent 指数的具体得分、排名变化和 token 用量，可用于对比选型。
Artificial Analysis 完整文章（网页）精选AI 评分8484 Claude Opus 5.5 登顶 Artificial Analysis Intelligence Index 并降价 20%
Anthropic 发布 Claude Opus 5.5，以 58 分登顶 Artificial Analysis Intelligence Index，为该榜已测最高分。
推荐理由：第三方实测给出指数得分、价格变化和各档位性价比位置，读者可据此对比 Opus 5.5 与 GPT-6 Astra 等模型的表现。
Artificial Analysis 完整文章（网页）精选AI 评分7676 Artificial Analysis 评测 GPT-6 Sol 与 Luna：成本减半、智能指数持平
Artificial Analysis 评测 GPT-6 Sol 和 Luna，两者价格较 GPT-5.6 减半，Intelligence Index 持平，Sol 编码指数升 2 分至 57，Luna 降 2 分至 41。
推荐理由：原文以统一基准实测两款新模型的成本与能力变化，读者可据此判断价格减半后智能与编码表现的取舍。
Artificial Analysis 完整文章（网页）精选AI 评分7878 Claude Sonnet 5.5 登上 Artificial Analysis 智能指数第 2 名，token 用量创测量新高
Anthropic 发布 Claude Sonnet 5.5，在 Artificial Analysis 智能指数得分 56（max 档较 Sonnet 5 提升 18 分），仅次于 Opus 5.5 (max)。
推荐理由：原文给出 Sonnet 5.5 在智能指数、token 用量和成本上的具体数据，读者可据此对比其与 Opus 5.5 和 GPT-6 系列的实际取舍。
Artificial Analysis 完整文章（网页）AI 评分4141 Artificial Analysis 发布 Cyber Index 网络安全评测指数并成立 Cyber Index Alliance
Artificial Analysis 推出 Cyber Index，联合 Collinear AI、Vercel、Berkeley RDI 三家合作伙伴整合 CWE-Bench-AA、DeepsecBench-AA、CyberGym-E2E-AA 三项网络安全评测，覆盖从扫描代码漏洞到复现崩溃并打补丁的完整防御流程。
Artificial Analysis 完整文章（网页）AI 评分6060 Artificial Analysis 开源 AA-AgentPerf-Local 本地 Agent 推理基准并发布首批结果
Artificial Analysis 发布开源工具 AA-AgentPerf-Local，通过回放真实 Agent 轨迹（默认 8 个任务、168 轮、上下文增长至约 56K tokens）测试笔记本和工作站上的本地模型推理性能。