PatchHolmes:通过列表式选择实现智能体补丁检索
PatchHolmes 用列表式选择让智能体一次性读取前 100 个候选 commit,再通过四个带预算的工具打开单个 commit,最终提交唯一答案,Recall@1 达 59.95%,高于逐点系统的 34.61% 和通用检索推理基线的 28.55%。
PatchHolmes 用列表式选择让智能体一次性读取前 100 个候选 commit,再通过四个带预算的工具打开单个 commit,最终提交唯一答案,Recall@1 达 59.95%,高于逐点系统的 34.61% 和通用检索推理基线的 28.55%。
RSIGame 是一个带递归自我改进的自主智能体游戏开发框架,通过局部“探索-诊断-改进”循环与全局质量跟踪循环,在 140 个 GameCraft-Bench 任务、两个游戏引擎和五种生成器上以相同开发预算稳定提升游戏质量。
研究者推出 A2Z GameSpec-Bench,用 100 份长篇游戏设计文档(GDD)评测编码智能体的端到端游戏开发忠实度,每份 GDD 被转为含规则、约束与前置依赖的契约,并结合源码检查与智能体生成的测试策略做场景回放和自适应试玩。评测显示当前智能体难以同时满足代码实现与实际游玩中的相互依赖需求;针对具体需求的反馈相比两轮自我修订可将 GDD Fidelity 提升 10.9%。
LEGO-Anything 面向3D场景重建的编程智能体 论文:https://huggingface.co/papers/2609.36380
Prime Intellect 在 Environments Hub 上线 Proximal 的编程基准 FrontierSWE,任务为超长周期开放式技术挑战,智能体平均每个任务运行 11 小时且几乎全部失败。
METR 发布 RE-Bench 基准,包含 7 个 ML 研究工程环境、71 次人类专家尝试,以及 Claude 3.5 Sonnet 和 o1-preview 智能体的结果,全部开源。
METR 发布对前沿模型编写 GPU kernel 能力的测量,用自建 KernelAgent 脚手架在改进版 KernelBench 上测试。相同模型下 KernelAgent 达到 1.81x 平均加速,远高于原 KernelBench 的 1.05x;o3-mini-high 单模型达 1.81x,全模型 best-of-k 达 2.01x。
METR 在 arXiv 发布 HCAST(Human-Calibrated Autonomy Software Tasks)基准,包含 189 个机器学习工程、网络安全、软件工程和通用推理任务,并收集 563 条人类基线(超 1500 小时),任务耗时从 1 分钟到 8 小时以上。
METR 提出用任务长度(按人类专家耗时衡量)来度量 AI 能力,发现 6 年来模型能以 50% 可靠性自主完成的任务长度呈指数增长,翻倍时间约 7 个月。当前模型对耗时 4 分钟以内任务成功率近 100%,超过约 4 小时则不足 10%;Claude 3.7 Sonnet 的 50% 成功率时间视界约一小时。
推荐理由:METR 用人类任务时长衡量智能体能力,给出 6 年约 7 个月翻倍的指数趋势及其外推含义。
METR 开展随机对照试验,16 名资深开源开发者在自己的大型开源仓库(平均 22k+ stars、1M+ 行代码)上完成 246 个真实 issue,允许使用 AI(主要是 Cursor Pro 与 Claude 3.5/3.7 Sonnet)时完成任务反而慢 19%。
推荐理由:METR 的随机对照试验给出了 AI 使资深开源开发者变慢 19% 的实测结果,可用于校准基准分数与自我感知之间的落差。
METR 基于其时间视野论文,用 logistic 模型分析 GPQA、MATH、Mock AIME、LiveCodeBench、OSWorld、WebArena、Tesla FSD 等 9 个基准,发现各领域普遍呈指数或略超指数增长。
METR 研究员 Nikola Jurkovic 用 Claude Code 和 Codex 脚手架测量 Opus 4.5 与 GPT-5 的时间跨度,发现两者均未明显优于 METR 默认的 ReAct 和 Triframe 脚手架。
METR 在来自 stdlib-js 和 hypothesis 两个仓库的 18 个真实任务上,用 Inspect ReAct 智能体运行 Claude 3.7 Sonnet,算法评分下成功率为 38%(±19%,95% CI),但人工抽查的 15 个 PR 中无一可直接合并。
METR 研究员 Amy Deng 用 7 名技术员工 2026 年 1 月生成的 5305 条 Claude Code 转录,以 LLM 评审估算无 AI 情况下的任务耗时,得出时间节省因子约 1.5x 到 13x。作者认为该指标因任务替代、任务选择效应和员工专业化等因素而偏高,是真实生产力提升的软上限,并观察到更高的智能体并发度与更高的时间节省因子相关。
METR 研究员 Nikola Jurkovic 让 Opus 4.6 用简单 ReAct 脚手架复刻 Slay the Spire 和 Balatro 的 CLI 版本,得到基本可玩但有不少缺陷的实现。
METR 研究发现,2024 年中至 2025 年中后期模型生成的通过 SWE-bench Verified 自动评分的 PR 中,约一半不会被仓库维护者合并进 main。
推荐理由:研究用真实维护者评审量化 SWE-bench 分数与实际可合并 PR 的差距,为解读编码基准提供了更审慎的参照。
METR 宣布重新设计其开发者生产力实验,认为 2025 年 8 月启动的二次研究中因开发者拒绝无 AI 工作而出现选择效应,使数据无法可靠反映 AI 工具的生产力影响。
推荐理由:原文解释了为何 AI 更广泛采用带来的选择效应使其实验结果不可靠,并给出初步数据与后续研究设计思路。
METR 研究人员对 NanoGPT speedrun 的 77 条记录分类,2024 年 5 月至 2026 年 3 月间 36 名贡献者将训练时间从 45 分钟降到 1.43 分钟,共 31x 提速。
METR 发布 MirrorCode 基准初步结果,显示 AI 智能体可完成数周时长的编码任务,包括重新实现一个 16000 行代码库。同页还汇总了 349 名技术工作者调查,自报因 AI 工具工作价值中位数提升 1.4–2x,以及跨 9 个基准的时间跨度研究和监测性评测初步结果。
Epoch AI 与 METR 联合推出长程编码基准 MirrorCode,要求 AI 在不接触源代码的情况下端到端重实现完整程序,输出须通过含 held-out 测试的端到端测试。
Cognition 发布 FrontierCode 基准,从正确性、测试质量、范围纪律、风格等维度评估模型代码能否达到开源维护者可合并的标准,误报率比 SWE-Bench Pro 低 81%。
Cognition 发布 FrontierCode 1.1,通过“公平使用互联网”提示词与程序化检测两项措施,将各模型的不公平联网行为降至 1% 以下。该版本还审计了 1000+ 条评分标准并放宽其中 75 条过严项,新增 Sonnet 5 分数并更新 Fable 5,此后仅报告 Main 与 Extended 子集,不再报告 Diamond 子集。
Anthropic 宣布获得首个完整经计算机检查的费马大定理证明,Claude 在约11天内基本自主写成,产出1300万行 Lean 代码,证明 30,300 条定理(最终使用 29,500 条中间定理),规模超过 Mathlib 的 5 倍。
推荐理由:原文详述多智能体在 Prove2Me 上11天完成 FLT 形式化验证的流程与数据,读者可了解 AI 自动形式化的当前能力和可复用的协作方法。
研究者提出自主智能体模型 Marathoner,通过后训练流程赋予基座模型超长时程执行能力,在 5 个超长时程任务基准上稳定超越基座模型,甚至超过强闭源模型。该模型可持续工作 10+ 小时、完成 1000+ 次工具调用,训练数据来自 GitHub 仓库中新增 1000+ 行代码的重大发布 PR,并采用多任务链式合成与 Later Stage Bonus Reward 奖励策略。
ROSS 通过选择性监督从自生成 rollout 中再学习,保留完整历史轨迹作为上下文,仅对选定的模型生成续写施加损失。在 Qwen3.6-35B-A3B 上,ROSS 将六基准 MOPD 平均分从 58.40% 提升至 62.20%,SWE-bench Verified 从 64.20% 提升至 68.40%。
LEGO-Anything 是一个 Image-to-Code 框架,让编码智能体迭代编写并执行 Blender 代码、检查场景与渲染结果并修订程序,把单图重建的 3D 场景表示为可检查、可编辑、可查询的场景程序。
微软提出 AI SW Factory,覆盖 Targeting、Coding、Reviewing、Ops 全软件开发生命周期,通过微调模型权重和更新 World Model 实现自我改进。在微软数十个代码仓库的规模化部署中,工程效率达到智能体编码的 3 倍,token 效率最高提升 22 倍。
针对长程编程智能体上下文随观察不断增长的问题,论文提出 StateTape 框架,将仓库建模为符号级代码图,用 tape 标记每次写入改动的符号,把过时判断从文本推断变为对写入的观察。该方法配合小型 manager 模型处理写入日志无法确定的部分,并给出理论分析与 TraceBench 基准。在六个编程智能体和三个编辑密集型基准上,StateTape 均取得更高解决率且计算开销很小。
ROSS 通过保留完整历史轨迹作为上下文、仅对选定的模型生成续写施加损失,让自生成 rollout 中的可复用行为经验通过离线 SFT 继续产生收益,无需额外策略 rollout。
研究者提出免训练的可靠并行解码方法 RPD,按逐层预测稳定性与最终置信度筛选候选 token,并在其前置掩码位置的累积熵预算下并行提交。在 LLaDA 和 Dream 上的数学推理与代码生成基准中,RPD 在评测方法中取得最高解码吞吐,同时保持或提升准确率。诊断显示,仅凭置信度无法确定可靠的提交顺序,序列末端的高置信预测可能在上游计算尚未建立时锁定答案。
Berkeley RDI 等机构发布 Vero 基准,要求 AI 智能体在仓库级同时编写实现与 Lean 4 证明,包含 43 个多模块实例、743 个评分 API 和 2,705 条形式化规范。
METR 发布系列研究笔记,涵盖 per-action 阻断监控的有效性论证、LLM 是否加速网络/数学/算法领域发现速率,以及智能体能力度量。其中一项微调实验显示,四个推理模型经少量指令遵循数据微调后,CoT 可控性在分布外任务上从平均 2.9% 升至 8.8%;另一项分析发现约半数通过 SWE-bench Verified 的 AI 生成 PR 不会被仓库维护者合并入主分支。
NVIDIA 联合 SGLang 团队推出 SWE-Serve 基准,从 83 个已合并的 SGLang pull request 中构建 53 个可执行任务,用于评估智能体对推理服务软件仓库级改动的真实效果。
CMU 研究团队将在 ICLR 2026 展示 194 篇论文,会议于 4 月 23 日至 27 日在巴西里约热内卢 Riocentro 会议中心举行。论文涵盖应用、计算机视觉、深度学习、优化、强化学习、社会影响与理论等方向,其中 EditBench、UALM、Agent Data Protocol、MotionStream、OpenThoughts 等被列为 Oral 论文。
Anthropic 工程团队发布研究,量化基础设施资源配置对智能体编码评测(如 Terminal-Bench 2.0 与 SWE-bench)分数的影响。
论文提出 SkillGym,把人类编写的技能转化为 2756 个带代码校验器的训练环境,并用 8364 条成功轨迹做微调。
研究者提出共享选择性持久记忆架构,为多轮工具调用的 Agentic LLM 系统保留任务规格、数据 schema、工具配置和输出约束四类可复用上下文,并丢弃会话专属推理轨迹。