Epoch AI 的 FrontierMath:Tiers 1–4 数学基准
Epoch AI 的 FrontierMath 是一个由数百道未公开、高难度数学题组成的基准,分为 Tiers 1–4 四个难度层级。Tiers 1–3 覆盖从本科到适合高年级研究生的探索性问题,Tier 4 则是研究级数学。
Epoch AI 的 FrontierMath 是一个由数百道未公开、高难度数学题组成的基准,分为 Tiers 1–4 四个难度层级。Tiers 1–3 覆盖从本科到适合高年级研究生的探索性问题,Tier 4 则是研究级数学。
Epoch AI 的 AI chip sales 数据页追踪并估算主要 AI 芯片的销量与出货量,以及估算的总算力、成本和功耗。数据主要来自公司财报评论、分析师估算和媒体报道,提供按芯片类型、组织和按芯片时间线的 CSV 及 ZIP 打包下载,更新至 Aug. 27, 2026,并附 H100e 算力口径等常见问题说明。
Epoch AI 通过标注知名 AI 模型训练所用的芯片来识别 ML 硬件,并补充了虽未见于这些系统训练记录、但依据描述、支持的数值格式或同族关系可判定为 ML 用途的硬件。该数据集为每块芯片记录数据手册信息,涵盖算力、裸片面积等,并借助新闻报道或硬件价格档案补充发布时价格;并非所有硬件都有完整或适用的信息,因此部分字段常为空。
OpenAI 的 GPT-6 Astra 以 166 分登顶 Epoch Capabilities Index,Math-ECI 达 170 创下新纪录,但软件工程 SWE-ECI 为 164,仍落后 Claude Fable 5.1 的 167。
Epoch AI 更新其 AI 基准与能力中心,汇总内部测试与外部数据。GPT-6 Astra 以 166 分登顶 Epoch Capabilities Index,Math-ECI 达 170 创纪录,但 SWE-ECI 164 仍落后 Claude Fable 5.1 的 167。该中心还显示,自 2023 年以来同等 AI 性能的成本每季度下降约 47%,年降约 13 倍。
Epoch AI 以数字版桌游《Earthborne Rangers》作为 AI 智能体评测基准,每个模型默认跑 10 局、取最后 2 局最高分作为 topline 分数并采样 5 次,人类目前最高分为 21/21。
Epoch AI 的 FrontierMath 开放问题基准新增 human + AI 解题状态,用于 AI 有实质贡献但非自主解决的问题。
Epoch AI 与 METR 联合推出长程编码基准 MirrorCode,要求 AI 在不接触源代码的情况下端到端重实现完整程序,输出须通过含 held-out 测试的端到端测试。
Epoch AI 的 Epoch Capabilities Index(ECI)是一个综合指标,用超过 50 个基准的分数生成单一通用能力量表,模型在更难基准上表现越好,ECI 分数越高。其领域版 ECI 沿用通用 ECI 的基准难度与斜率、仅重新拟合 LLM 能力参数,Cyber ECI 因纳入通用 ECI 之外的网络安全基准而更新频率更低。ECI 代码已在公开仓库发布。
Epoch AI 与 Ipsos 合作在 KnowledgePanel 上开展 AI 使用民调,于 2026 年 7 月 10-19 日访问 1,103 名在职美国成年人,并新增个体级微观数据下载(SPSS .sav 与 CSV)。
Epoch AI 上线"AI companies"数据集,追踪处于 AI 前沿的基座模型公司的营收、融资、员工数、算力支出和使用量数据,来源为公司披露、高管表态与媒体报道。数据集于 2026 年 9 月 29 日更新,提供全量 ZIP 及算力支出、融资轮次、员工、营收、使用量等分项 CSV,可通过 Python 直接读取。
Epoch AI 上线 AI chip owners 探索器,基于公司披露和第三方分析师估算全球 AI 算力在主要公司和客户类别间的分布,数据于 2026 年 5 月 12 日更新。该项目追踪的是芯片所有权而非使用情况,多数前沿 AI 开发者的训练和推理芯片并非自有;数据、方法论及按设计商、芯片类型划分的 CSV 数据集均公开可下载。
Epoch AI 上线 AI 模型数据集,收录文献综述、Papers With Code、高被引论文及顶会论文等来源的模型,覆盖发布时达到 SOTA、引用超 1000 次或月活超百万的模型。数据集提供 notable、large-scale、frontier 及全量模型四类 CSV 下载,最新更新于 2026 年 9 月 30 日,并附参数规模、数据集大小与训练算力的测算文档。
Cognition 发布 FrontierCode 基准,从正确性、测试质量、范围纪律、风格等维度评估模型代码能否达到开源维护者可合并的标准,误报率比 SWE-Bench Pro 低 81%。
Cognition 发布 FrontierCode 1.1,通过“公平使用互联网”提示词与程序化检测两项措施,将各模型的不公平联网行为降至 1% 以下。该版本还审计了 1000+ 条评分标准并放宽其中 75 条过严项,新增 Sonnet 5 分数并更新 Fable 5,此后仅报告 Main 与 Extended 子集,不再报告 Diamond 子集。
卡内基梅隆大学(CMU)研究者在 12 月 2 日至 7 日于圣迭戈举行的第 39 届 NeurIPS 2025 上展示 156 篇论文。口头报告包括提出 Encoder–Attender–Decoder 框架研究触觉处理的 ConvRNN、缓解标签平滑表征坍缩的 MaxSup,以及单步生成模型 MeanFlow(ImageNet 256×256 单次函数评估 FID 3.43)。
Cohere Labs 发布“Future(s) of Work”研究专题,探讨 AI 对工作方式的影响,并指出当前关于未来工作的讨论存在证据不足的问题。该专题推出 Agentic Task Ecosystem(ATE)数据集,基于 7 个目录中的 123,000 个公开 MCP 服务器,分析了 694,000+ 个可执行工具,将 AI 工具映射到真实职业任务。
Artificial Analysis 发布 Intelligence Index v4.3,用 Terminal-Bench 4.0 和 AutomationBench-AA 替换旧评测项,私密测试集权重从 v4.2 的 40% 升至 45%。
Artificial Analysis 更新 Capability Indices 至 v1.1,结合 Intelligence Index v4.2 与 v4.3 的领域切片及专项评测,按 O*NET 职业任务映射基准并加权。
ARC Prize 官方推出 ARC-AGI-Pub 公开排行榜,使用公开评测集,取消算力限制、允许联网,并提供 15 万美元验证基金,对复现并验证的高分提交报销最高 $2,500 API 费用。
ARC Prize 官方公布 2024 年获奖名单并发布技术报告,共 1,430 支团队提交 17,789 份方案,大奖仍未被认领。the ARChitects 以 53.5% 获第一名并获 2.5 万美元,Kaggle 竞赛期间 ARC-AGI-1 SOTA 从 33% 升至 55.5%(MindsAI 因未开源不符获奖资格)。
ARC Prize 介绍 2024 年 ARC Prize 竞赛末期两个登上 ARC-AGI 公开榜单新 SOTA 的开源方案。
Anthropic 发布新报告,让 Claude 自主训练模型以改进 10 类对齐失败的基准表现,并开源自动化对齐研究框架。平均闭合 85% 的安全差距,在欺骗一项上比 28 名人类安全研究者的最佳方案高 20%;用 Claude Sonnet 5 训练早期 Opus 4.8 检查点,约 2,000 条训练样本的方案效率约为生产对齐流程的 15,000 倍。
推荐理由:报告给出自动化对齐研究在十类对齐失败上的量化结果与开源工具,读者可据此评估该方向的实际可行性。
Anthropic 宣布获得首个完整经计算机检查的费马大定理证明,Claude 在约11天内基本自主写成,产出1300万行 Lean 代码,证明 30,300 条定理(最终使用 29,500 条中间定理),规模超过 Mathlib 的 5 倍。
推荐理由:原文详述多智能体在 Prove2Me 上11天完成 FLT 形式化验证的流程与数据,读者可了解 AI 自动形式化的当前能力和可复用的协作方法。
ARC Prize 发布实验性基准 SnakeBench,用 2.8K 场 LLM 贪吃蛇头对头对战测试模型在动态环境中的实时决策与长期策略。o3-mini 与 DeepSeek-R1 在排行榜领先,ELO 分别为 1825 和 1801,推理模型在对阵其他 LLM 时赢下 78% 的对局。代码与结果已开源,完整 50 个 LLM 排行榜见 SnakeBench.com。
ARC Prize 基金会发布 ARC-AGI-2 基准并同步启动 ARC Prize 2025 竞赛,总奖金 100 万美元,Kaggle 赛程为 3 月 26 日至 11 月 3 日。
推荐理由:官方同步给出人机对比分数和成本数据,读者可以据此了解 AI 推理系统在新基准上的真实差距。
ARC Prize 发布 ARC-AGI-2 技术报告,推出比 ARC-AGI-1 更细粒度评估抽象推理的新基准。400 人实测 1,417 个任务全部可被人类解出,平均每题约 2.3 分钟;发布时所有前沿模型成功率不足 5%,而同类模型在 ARC-AGI-1 上通常达 20%-50%。
推荐理由:原文给出人类与当前模型在同一新基准上的实测对比,读者可以据此评估推理能力的差距所在。
ARC Prize 测试了各大实验室的 AI 推理系统,在 ARC-AGI-1 上得出准确率与成本的 Pareto 前沿,没有单一赢家:追求最高准确率选 OpenAI o3-medium/o3-high(o3-preview low 为 75.7% 但单任务 $200)。
推荐理由:ARC Prize 用统一基准横向比较各大推理系统,给出按准确率、成本和效率选型的具体建议,可直接用于模型选型。
ARC Prize 在 ARC-AGI Semi-Private 隐藏集上复测 Hierarchical Reasoning Model,得分为 ARC-AGI-1 32%、ARC-AGI-2 2%,大体复现论文声明(原文声称 41%)。
ARC Prize 基金会总结 ARC-AGI-3 Preview 上线 30 天的发现,首个交互式推理基准显示人类大多能通关游戏,AI 智能体则难以高效推进。竞赛收到 12 份提交,冠军 StochasticGoose 得分 12.58%,完成 18 个关卡,团队还提出以行动效率衡量智能,并计划增加撤销、离线引擎等改进。
推荐理由:原文给出了人类与 AI 在交互式推理基准上的行动效率差距和评分框架,读者可以据此理解智能评测的新方向。
ARC Prize 2025 结束,Kaggle 冠军 NVARC 在 ARC-AGI-2 私有集上取得 24.03%(每任务 $0.20),大奖仍未被认领;共 1,455 支队伍提交 15,154 份方案、90 篇论文,获奖方案与论文全部开源。
推荐理由:官方复盘 ARC Prize 2025 结果,提出 refinement loop 框架,并分析知识过拟合与基准设计需要演进的问题。
ARC Prize 发布 ARC-AGI-3,这是 ARC-AGI 系列首个全交互式基准,包含数百个人工设计的回合制环境和数千个游戏式关卡,无指令、无规则、无既定目标,要求智能体自行探索并跨关卡迁移所学。
推荐理由:ARC-AGI-3 用无指令的交互环境测探索学习能力,人类 100% 对前沿 AI 0.51%,可据此思考指令跟随之外的智能差距。
ARC Prize Foundation 发布 ARC-AGI-3 人类数据集,这是一项 458 名普通参与者参加的对照测试,也是 ARC-AGI 系列迄今最大规模的人类测试研究。
ARC Prize 通过 160 段回放与推理轨迹分析 GPT-5.5 和 Opus 4.7 在 ARC-AGI-3 上的表现,分数分别为 0.43% 和 0.18%(半私域数据集测试),并开源分析包。
推荐理由:ARC Prize 基于 160 段推理回放拆解两大模型的失败模式,指出总分掩盖了两者截然不同的推理缺陷。
ARC Prize 公布首个 3.75 万美元 ARC-AGI-3 里程碑奖(截至 6 月 30 日)前三名。冠军 Tufa Labs "The Duck" 用本地 Qwen 3.6 27B FP8 在 REPL 中写代码玩游戏,通过逐出旧消息实现无限游玩,团队称手工工具反而损害模型表现。
ARC Prize 官方博客汇总了面向 ARC-AGI 社区的论文、视频、工具、代码库与教程资源。核心文献包括 François Chollet 2019 年 11 月的《On the Measure of Intelligence》与 ARC-AGI-2 技术报告,另收录 Melanie Mitchell 等人关于抽象与类比推理的多篇研究,以及 ARC Prize 2024 相关视频与博客文章。
ARC Prize 官网新增 User Scorecards(用户成绩单)功能,页面显示为加载状态。该平台同时提供 ARC-AGI-1、ARC-AGI-2、ARC-AGI-3 系列基准与 ARC Prize 2024/2025/2026 竞赛入口。
ARC Prize 基金会发布面向研究者的 ARC-AGI 入门指南,覆盖 ARC-AGI-1、ARC-AGI-2 静态推理基准与首个交互式推理基准 ARC-AGI-3。
ARC Prize 公布 2024 论文奖获奖名单,一等奖由 Li 等人的《Combining Induction and Transduction for Abstract Reasoning》获得。
ARC Prize 官方公布 2025 Paper Award 获奖名单:A. Jolicoeur-Martineau 凭《Less is More: Recursive Reasoning with Tiny Networks》获第一名 5 万美元,第二名 2 万美元、第三名 5000 美元及多篇 Runners Up 和 Honorable Mentions 论文同步公布。