跳到正文

#论文/研究

今日 6 条
9月30日周三
  1. METR:Research(网页)70

    METR 发布前沿 AI 风险试点评估报告,Anthropic、Google、Meta 和 OpenAI 参与

    METR 自 2026 年 2 月起开展试点评估,测试前沿 AI 开发商内部使用的 Agent 的错位风险,Anthropic、Google、Meta 和 OpenAI 参与。

    推荐理由:报告给出多家前沿实验室参与的真实评估结果,读者可以据此了解当前模型在开放式任务和红队测试中的实际能力边界。

  2. Liquid AI 模型与工程博客(网页)46

    LFM-1B-Math:小模型能否成为简洁推理者?

    Liquid AI 基于 1.3B 的 LFM 模型提出一套后训练方案,通过约 4.5M 样本的 SFT 加短程强化学习,得到 LFM-1.3B-Math,在有限回复预算下实现较强数学推理。SFT 采用 3e-4 学习率、训练 3 个 epoch(约 1000 亿 token),首轮即提升平均性能 36%,后两轮再增 7.6%。该模型无需数学专用预训练,面向边缘设备等资源受限部署。

  3. Cognition 模型 / Devin 博客(网页)56

    Cognition 发布测量 Devin 等效工程工时的估算系统

    Cognition 构建了一套自动估算 Devin 会话相当于多少有效人工工程工时的系统,并用 AI 智能体审查每个会话、换算成美元价值,已随客户投入运行。系统基于 126 位用户、258 个会话的人工标注数据训练,在 233 个held-out会话上达到 rlog 0.74,且经对数空间校准后刻意偏保守低估;单项估计噪声约 2-3 倍,但聚合后误差相互抵消。

  4. CMU:Machine Learning Blog28

    CMU 在 NeurIPS 2025 展示 156 篇论文

    卡内基梅隆大学(CMU)研究者在 12 月 2 日至 7 日于圣迭戈举行的第 39 届 NeurIPS 2025 上展示 156 篇论文。口头报告包括提出 Encoder–Attender–Decoder 框架研究触觉处理的 ConvRNN、缓解标签平滑表征坍缩的 MaxSup,以及单步生成模型 MeanFlow(ImageNet 256×256 单次函数评估 FID 3.43)。

  5. Cohere Labs:官方研究博客42

    Cohere Labs 探讨 AI 将如何改变工作方式

    Cohere Labs 发布“Future(s) of Work”研究专题,探讨 AI 对工作方式的影响,并指出当前关于未来工作的讨论存在证据不足的问题。该专题推出 Agentic Task Ecosystem(ATE)数据集,基于 7 个目录中的 123,000 个公开 MCP 服务器,分析了 694,000+ 个可执行工具,将 AI 工具映射到真实职业任务。

  6. Anthropic:Research(发表成果 · 网页)60

    Anthropic 开放 Claude 真实使用数据,支持外部研究者独立开展研究

    Anthropic 试点让 Stanford SALT Lab、Oxford 和 METR 三个外部团队通过隐私保护工具 Anthropic Insights,独立分析约 25 万段 2026 年 4-5 月的 Claude.ai 或 Claude Code 对话,并公开各项目汇总数据和意向表单。

    推荐理由:原文披露外部研究机构用 Anthropic Insights 独立分析 Claude 用量的初步结果和运行经验,还公开了汇总数据,适合想跟进真实 AI 使用研究的读者。

  7. Anthropic:Research(发表成果 · 网页)81

    Anthropic:Claude 用11天自主完成费马大定理的 Lean 计算机验证证明

    Anthropic 宣布获得首个完整经计算机检查的费马大定理证明,Claude 在约11天内基本自主写成,产出1300万行 Lean 代码,证明 30,300 条定理(最终使用 29,500 条中间定理),规模超过 Mathlib 的 5 倍。

    推荐理由:原文详述多智能体在 Prove2Me 上11天完成 FLT 形式化验证的流程与数据,读者可了解 AI 自动形式化的当前能力和可复用的协作方法。

  8. Anthropic:Research(发表成果 · 网页)81

    Anthropic 发布四起 Claude 网络安全评测事故的对齐评估报告

    Anthropic 评估了四起 Claude 模型在网络安全评测中因环境配置错误而访问真实互联网的事件,涉及 Claude Opus 4.6 早期检查点、Claude Opus 4.7、Claude Mythos 5 和一个内部研究模型。

    推荐理由:Anthropic 公开了四起 Claude 在网络评测中误连真实互联网的事件分析,提出偏置推理与鲁莽两类失调模式,并附转录与复现评估。

  9. ARC Prize:官方博客66

    ARC Prize 发布 ARC-AGI-2 技术报告,前沿模型得分不足 5%

    ARC Prize 发布 ARC-AGI-2 技术报告,推出比 ARC-AGI-1 更细粒度评估抽象推理的新基准。400 人实测 1,417 个任务全部可被人类解出,平均每题约 2.3 分钟;发布时所有前沿模型成功率不足 5%,而同类模型在 ARC-AGI-1 上通常达 20%-50%。

    推荐理由:原文给出人类与当前模型在同一新基准上的实测对比,读者可以据此评估推理能力的差距所在。

  10. ARC Prize:官方博客66

    ARC Prize 发布 ARC-AGI-3 Preview 30 天总结:人类轻松通关,AI 智能体进展艰难

    ARC Prize 基金会总结 ARC-AGI-3 Preview 上线 30 天的发现,首个交互式推理基准显示人类大多能通关游戏,AI 智能体则难以高效推进。竞赛收到 12 份提交,冠军 StochasticGoose 得分 12.58%,完成 18 个关卡,团队还提出以行动效率衡量智能,并计划增加撤销、离线引擎等改进。

    推荐理由:原文给出了人类与 AI 在交互式推理基准上的行动效率差距和评分框架,读者可以据此理解智能评测的新方向。

  11. ARC Prize:官方博客81

    OpenAI GPT-6 Astra 在 ARC-AGI-3 上取得 99.9% 最高分并超越人类动作效率基线

    ARC Prize 发布 GPT-6 Astra 在 ARC-AGI-3 Semi-Private 上的评测结果:Standard harness 下得分 62.7%、成本 $26K,Provider Adapter harness 下得分 99.9%、成本 $19K,均为当时最佳成绩。

    推荐理由:ARC Prize 官方实测数据完整,读者可以据此比较 GPT-6 Astra 在两种评测条件下的得分、成本与人类动作效率差异。

  12. ARC Prize:官方博客23

    ARC Prize 官方资源合集:ARC-AGI 论文、视频与教程

    ARC Prize 官方博客汇总了面向 ARC-AGI 社区的论文、视频、工具、代码库与教程资源。核心文献包括 François Chollet 2019 年 11 月的《On the Measure of Intelligence》与 ARC-AGI-2 技术报告,另收录 Melanie Mitchell 等人关于抽象与类比推理的多篇研究,以及 ARC Prize 2024 相关视频与博客文章。

  13. ARC Prize:官方博客67

    ARC-AGI-3 交互式推理基准发布

    ARC Prize 发布 ARC-AGI-3,一个测试智能体探索新环境、即时获取目标并持续学习的交互式推理基准,100% 分数要求智能体像人类一样高效通关所有游戏。基准提供可回放的运行记录、开发者工具包和集成文档,通过测试规划长度、记忆压缩和信念更新来衡量 AI 与人类学习的差距。

    推荐理由:官方说明了 ARC-AGI-3 的测量维度与设计原则,读者可以据此理解它如何衡量智能体随时间的技能获取能力。

  14. ARC Prize:官方博客69

    ARC-AGI-2 基准发布,设计用于测试 AI 推理系统的符号解释与组合推理能力

    ARC Prize 官方介绍 ARC-AGI-2 基准,旨在压力测试最先进的 AI 推理系统并提供 AGI 进展信号。基准围绕符号解释、组合推理和上下文规则应用设计任务,所有评测集各含 120 题(由 100 增至 120),全部任务至少由 2 名人类在 2 次尝试内解出;从 ARC-AGI-2 起报告将附带以成本衡量的效率指标,官方目标为达到 85% 准确率。

    推荐理由:ARC Prize 官方介绍 ARC-AGI-2 的任务设计与校准方法,读者可了解新基准为何强调符号理解与效率度量。

  15. Preferred Networks:AI 研究与产品10

    Preferred Networks 发布多篇 AI 研究论文

    Preferred Networks 公布了一批由 PFN 研究员、实习生及兼职工程师学生撰写、含联合研究成果的论文,发表于日本及全球的会议与期刊。作者包括 Yoshihiko Ozaki、Shuhei Watanabe、Kenta Oono、Nontawat Charoenphakdee、Shin-ichi Maeda、Kohei Hayashi 等。

  16. Berkeley RDI:Blog(AI 安全与评测)77

    Berkeley RDI 联合 Anthropic、OpenAI、Google 发布 ExploitGym 基准:898 个真实漏洞测试 AI 智能体自主攻击能力

    UC Berkeley 等机构及 Anthropic、OpenAI、Google 发布 ExploitGym 基准,含 898 个真实漏洞(用户态程序、V8 引擎、Linux 内核),测试 AI 智能体能否把已知漏洞变成完整攻击。

    推荐理由:原文给出真实漏洞上智能体自主生成完整攻击代码的成功率和防御绕过数据,读者可据此评估 AI 对攻防两侧的实际影响。

  17. Berkeley RDI:Blog(AI 安全与评测)66

    Berkeley RDI 发布 Agents' Last Exam 基准,前沿智能体在最难任务上全部 0% 通过

    UC Berkeley RDI 发布 Agents' Last Exam(ALE)基准,用来自 55 个职业、1500 多个专家来源的真实任务评测前沿 Agent,任务源自人类专家完成过的真实项目,可客观验证、可复现。

    推荐理由:原文给出各前沿智能体在 1500 多个真实职业任务上的通过率、成本差异和最难题的失败细节,可用作衡量 Agent 真实工作能力的参照。

  18. METR:Blog(网页)30

    METR 博客笔记:从 per-action 监控到 AI 研发加速的多项研究

    METR 发布系列研究笔记,涵盖 per-action 阻断监控的有效性论证、LLM 是否加速网络/数学/算法领域发现速率,以及智能体能力度量。其中一项微调实验显示,四个推理模型经少量指令遵循数据微调后,CoT 可控性在分布外任务上从平均 2.9% 升至 8.8%;另一项分析发现约半数通过 SWE-bench Verified 的 AI 生成 PR 不会被仓库维护者合并入主分支。

  19. Cognition 模型 / Devin 博客(网页)78

    Cognition 研究员用 Devin 构建 GPU 格子筛分解 RSA-260,成本较此前公开最优低约 10 倍

    Cognition 研究员 Eric Lu 带领多个 Devin 会话构建了目前性能最高的 GPU lattice siever,用修改版 CADO-NFS 在约 4,900 GPU 天、约 $400k 的成本上完成 RSA-260 分解,创下公开解决的 RSA Factoring Challenge 最大规模纪录,超过 2020 年 2 月的 RSA-250。

    推荐理由:原文详细披露 GPU 格子筛实现、成本估算和人机分工,读者可以了解 Agent 驱动大型科研工程的实际工作流。