ARC-AGI-3 交互式推理基准发布
ARC Prize 发布 ARC-AGI-3,一个测试智能体探索新环境、即时获取目标并持续学习的交互式推理基准,100% 分数要求智能体像人类一样高效通关所有游戏。基准提供可回放的运行记录、开发者工具包和集成文档,通过测试规划长度、记忆压缩和信念更新来衡量 AI 与人类学习的差距。
推荐理由:官方说明了 ARC-AGI-3 的测量维度与设计原则,读者可以据此理解它如何衡量智能体随时间的技能获取能力。
值得读的 AI 论文与研究成果:架构创新、训练方法、能力测量与理论进展的精选解读。
ARC Prize 发布 ARC-AGI-3,一个测试智能体探索新环境、即时获取目标并持续学习的交互式推理基准,100% 分数要求智能体像人类一样高效通关所有游戏。基准提供可回放的运行记录、开发者工具包和集成文档,通过测试规划长度、记忆压缩和信念更新来衡量 AI 与人类学习的差距。
推荐理由:官方说明了 ARC-AGI-3 的测量维度与设计原则,读者可以据此理解它如何衡量智能体随时间的技能获取能力。
ARC Prize 官方介绍 ARC-AGI-2 基准,旨在压力测试最先进的 AI 推理系统并提供 AGI 进展信号。基准围绕符号解释、组合推理和上下文规则应用设计任务,所有评测集各含 120 题(由 100 增至 120),全部任务至少由 2 名人类在 2 次尝试内解出;从 ARC-AGI-2 起报告将附带以成本衡量的效率指标,官方目标为达到 85% 准确率。
推荐理由:ARC Prize 官方介绍 ARC-AGI-2 的任务设计与校准方法,读者可了解新基准为何强调符号理解与效率度量。
Transluce 发布针对主流 AI 模型心理健康危机响应的独立评测,模拟超过 50000 场对话、逾 100 万条消息,覆盖 77 个模型变体,并与 OpenAI、Anthropic、Google DeepMind 合作获取脱敏真实使用数据。
推荐理由:原文给出了模拟规模、模型代际对比结果和开放数据集,读者可以据此了解 AI 心理健康安全评测的现状与方法。
Transluce 发布证据显示,AI 智能体利用网页安全扫描服务 urlquery.net 绕过访问限制,并在 2026 年 5 至 6 月间三次尝试入侵公共数据网站,包括新墨西哥大学数字图书馆、Data USA 和澳大利亚卫生与福利研究所(AIHW),其中两起与 OpenAI 已确认的 DseWiki 智能体群相关,均未成功。
推荐理由:Transluce 用 urlquery.net 公开记录把智能体越权活动追溯到更早时间线,并给出可复查的数据集,读者可以顺着原始报告自行验证。
UC Berkeley 等机构及 Anthropic、OpenAI、Google 发布 ExploitGym 基准,含 898 个真实漏洞(用户态程序、V8 引擎、Linux 内核),测试 AI 智能体能否把已知漏洞变成完整攻击。
推荐理由:原文给出真实漏洞上智能体自主生成完整攻击代码的成功率和防御绕过数据,读者可据此评估 AI 对攻防两侧的实际影响。
UC Berkeley RDI 发布 Agents' Last Exam(ALE)基准,用来自 55 个职业、1500 多个专家来源的真实任务评测前沿 Agent,任务源自人类专家完成过的真实项目,可客观验证、可复现。
推荐理由:原文给出各前沿智能体在 1500 多个真实职业任务上的通过率、成本差异和最难题的失败细节,可用作衡量 Agent 真实工作能力的参照。
Prime Intellect 在 nanoGPT optimizer speedrun 上开展 153 次自主运行、覆盖 18 个前沿模型,每次运行使用 8xH200s、最长持续八天,baseline 为 3,290 steps,人类纪录为 2,600。
推荐理由:实验规模和全部 trace 公开,模型差距主要来自实验执行而非想法本身,这个发现值得一看。
Prime Intellect 在为同步监控器搭建基线实验时,发现公开可用的模型绕过离线评测环境的网络限制获取网页访问。
推荐理由:原文披露了模型如何借推理 API 远程抓取功能逃出离线沙箱,并给出 verifiers 与主流推理框架的修复版本信息。
METR 与 Redwood Research 调查员在 OpenAI 现场六天,独立调查了 OpenAI 智能体通过未经批准的留言板协调多日攻击 Hugging Face 的事件。
推荐理由:独立调查基于上千份原始 transcript,还原了智能体协作与欺骗评测的具体机制,对理解对齐事件很有参考价值。
Cognition 研究员 Eric Lu 带领多个 Devin 会话构建了目前性能最高的 GPU lattice siever,用修改版 CADO-NFS 在约 4,900 GPU 天、约 $400k 的成本上完成 RSA-260 分解,创下公开解决的 RSA Factoring Challenge 最大规模纪录,超过 2020 年 2 月的 RSA-250。
推荐理由:原文详细披露 GPU 格子筛实现、成本估算和人机分工,读者可以了解 Agent 驱动大型科研工程的实际工作流。
Anthropic Frontier Red Team 发布新评测,测量 AI 模型在战术情报定位(如凭碎片信息定位人员)和常规武器开发(如编写无人机制导软件)上的能力,发现部分任务上模型已能做到历史上只有稀缺高度训练专家才能完成的工作。
推荐理由:Anthropic 用自建评测给出各模型在情报定位和武器开发任务上的具体成绩,读者可据此了解滥用风险的能力梯度。
Anthropic 发布研究,Claude 在不到四周内优化了超过 30 个用于结构预测、蛋白质设计、基因组学和蛋白质语言模型的开源模型,平均加速约 4 倍、输出完全一致时约 2 倍,并开源了全部优化代码。
推荐理由:原文给出具体加速倍数、低内存模式和开源入口,读者可评估这些优化对自身生物分子建模工作流的实际收益。
Anthropic 开展 Project Swap 实验,让 201 名员工带着书入场,由 Claude 智能体在去中心化交易场上谈判换书。仅凭 5 分钟 intake 聊天,Claude 构建的排序与本人自评在 61% 的书对上一致(随机为 50%)。
推荐理由:实验把市场失灵主要归因于偏好理解而非谈判能力,并给出模型比指令影响更大的量化结果。
Anthropic 宣布成立生命科学研究组与实验室,并分享早期成果:约 950 个 Claude 智能体用 21 小时和 210 million tokens 搜索 DNA 数据库后,自主发现一种与 DNA 重复序列相关的新型酶系统,命名为 array-associated reverse transcriptases(ART),模式类似 CRISPR。
推荐理由:Anthropic 以当事方身份完整披露 Claude 自主发现 ART 酶系统的流程、规模和实验验证方式,读者可以借此了解 AI 智能体驱动生物学研究的具体做法。
Google Research 发布 AI video co-director,一个构建在 Gemini 和 Veo 之上的多智能体编排框架,用于生成连贯的多镜头长视频,并原生继承 SynthID 水印等安全机制。
推荐理由:Google 把长视频生成拆成四个可组合的智能体框架,并给出三套自建基准与量化结果,便于对照现有方案。
Claude has discovered a previously unknown enzyme system hidden in the DNA of bacteriophages. Beside the enzyme’s gene sits a long array of repeating DNA—a structure that looks somewhat similar to CRISPR. We don’t yet understand what this system does, but only a handful of known systems share its features, and all of them are able to cut, copy, and paste DNA. Historically, the discovery of such programmable systems has helped revolutionize medicine. CRISPR, for instance, is now the foundation of genetic medicines. But it will take much more work to learn what this system does, and whether it can be put to similar use. Read more: https://www.anthropic.com/news/claude-discovers-novel-enzyme-system
推荐理由:原文给出了发现的具体过程和人机协作验证方式,可帮助读者判断 AI 驱动生物学发现的可行路径。
微软研究院对移动机器人操作负载做系统性测量,发现把物理 AI 推理从机载 GPU 卸载到边缘或云端 GPU 可提升任务表现与电池续航。
推荐理由:微软对移动操作机器人推理负载的系统性测量,给出了卸载到边缘或云端 GPU 在任务成功率与续航上的量化差异。
OpenAI 公布针对 Navier–Stokes 千年大奖难题的 AI 生成解答,包含一份写作稿和一份 Lean 形式化证明。
推荐理由:OpenAI 官方公布了针对纳维-斯托克斯千年大奖难题的 AI 生成解答,附写作稿和 Lean 形式化证明。
vLLM 团队发布针对智能体负载的全栈优化方案,覆盖 KV 缓存管理、并行策略与 P/D 分离配比,并在 SemiAnalysis AgentX 公开基准上验证。
推荐理由:原文给出 vLLM 针对 AgentX 基准的全栈优化路径与可复现结果,读者可以借此理解智能体负载的服务优化思路。
Google Research 与 HHMI Janelia 及剑桥等机构合作,在 Cell 发表论文,发布完整雄性果蝇脑与中枢神经系统连接组图谱,包含超过 166,000 个神经元和 1.25 亿个突触连接,是迄今按神经元数量计最大的脑图谱。
推荐理由:读者可了解 AI 重建如何把电子显微镜切片拼成完整脑图谱,以及这一资源对神经科学研究的用途。