跳到正文

#编码

今日 4 条
今天10月1日周四
  1. HuggingFace Daily Papers(社区热门论文)42

    A2Z GameSpec-Bench:编码智能体能多忠实地按游戏设计文档生成游戏?

    研究者推出 A2Z GameSpec-Bench,用 100 份长篇游戏设计文档(GDD)评测编码智能体的端到端游戏开发忠实度,每份 GDD 被转为含规则、约束与前置依赖的契约,并结合源码检查与智能体生成的测试策略做场景回放和自适应试玩。评测显示当前智能体难以同时满足代码实现与实际游玩中的相互依赖需求;针对具体需求的反馈相比两轮自我修订可将 GDD Fidelity 提升 10.9%。

9月30日周三
  1. METR:Research(网页)78

    METR 提出"任务时长"指标:AI 可完成任务长度每约 7 个月翻倍

    METR 提出用任务长度(按人类专家耗时衡量)来度量 AI 能力,发现 6 年来模型能以 50% 可靠性自主完成的任务长度呈指数增长,翻倍时间约 7 个月。当前模型对耗时 4 分钟以内任务成功率近 100%,超过约 4 小时则不足 10%;Claude 3.7 Sonnet 的 50% 成功率时间视界约一小时。

    推荐理由:METR 用人类任务时长衡量智能体能力,给出 6 年约 7 个月翻倍的指数趋势及其外推含义。

  2. METR:Research(网页)77

    METR 研究:早期 2025 年 AI 工具使资深开源开发者效率下降 19%

    METR 开展随机对照试验,16 名资深开源开发者在自己的大型开源仓库(平均 22k+ stars、1M+ 行代码)上完成 246 个真实 issue,允许使用 AI(主要是 Cursor Pro 与 Claude 3.5/3.7 Sonnet)时完成任务反而慢 19%。

    推荐理由:METR 的随机对照试验给出了 AI 使资深开源开发者变慢 19% 的实测结果,可用于校准基准分数与自我感知之间的落差。

  3. METR:Notes(网页)62

    METR 用 5305 条 Claude Code 转录估算编码智能体时间节省因子约 1.5x 到 13x

    METR 研究员 Amy Deng 用 7 名技术员工 2026 年 1 月生成的 5305 条 Claude Code 转录,以 LLM 评审估算无 AI 情况下的任务耗时,得出时间节省因子约 1.5x 到 13x。作者认为该指标因任务替代、任务选择效应和员工专业化等因素而偏高,是真实生产力提升的软上限,并观察到更高的智能体并发度与更高的时间节省因子相关。

  4. METR:Research(网页)66

    METR 将重新设计开发者生产力实验,因 AI 选择效应致新数据不可靠

    METR 宣布重新设计其开发者生产力实验,认为 2025 年 8 月启动的二次研究中因开发者拒绝无 AI 工作而出现选择效应,使数据无法可靠反映 AI 工具的生产力影响。

    推荐理由:原文解释了为何 AI 更广泛采用带来的选择效应使其实验结果不可靠,并给出初步数据与后续研究设计思路。

  5. Cognition 模型 / Devin 博客(网页)49

    FrontierCode 1.1 发布:区分合法与不公平的互联网使用

    Cognition 发布 FrontierCode 1.1,通过“公平使用互联网”提示词与程序化检测两项措施,将各模型的不公平联网行为降至 1% 以下。该版本还审计了 1000+ 条评分标准并放宽其中 75 条过严项,新增 Sonnet 5 分数并更新 Fable 5,此后仅报告 Main 与 Extended 子集,不再报告 Diamond 子集。

  6. Anthropic:Research(发表成果 · 网页)81

    Anthropic:Claude 用11天自主完成费马大定理的 Lean 计算机验证证明

    Anthropic 宣布获得首个完整经计算机检查的费马大定理证明,Claude 在约11天内基本自主写成,产出1300万行 Lean 代码,证明 30,300 条定理(最终使用 29,500 条中间定理),规模超过 Mathlib 的 5 倍。

    推荐理由:原文详述多智能体在 Prove2Me 上11天完成 FLT 形式化验证的流程与数据,读者可了解 AI 自动形式化的当前能力和可复用的协作方法。

  7. HuggingFace Daily Papers(社区热门论文)44

    Marathoner:超长时程自主智能体模型

    研究者提出自主智能体模型 Marathoner,通过后训练流程赋予基座模型超长时程执行能力,在 5 个超长时程任务基准上稳定超越基座模型,甚至超过强闭源模型。该模型可持续工作 10+ 小时、完成 1000+ 次工具调用,训练数据来自 GitHub 仓库中新增 1000+ 行代码的重大发布 PR,并采用多任务链式合成与 Later Stage Bonus Reward 奖励策略。

  8. arXiv:cs.AI(全量分类)40

    StateTape:面向长程编程智能体的动作条件证据生命周期建模

    针对长程编程智能体上下文随观察不断增长的问题,论文提出 StateTape 框架,将仓库建模为符号级代码图,用 tape 标记每次写入改动的符号,把过时判断从文本推断变为对写入的观察。该方法配合小型 manager 模型处理写入日志无法确定的部分,并给出理论分析与 TraceBench 基准。在六个编程智能体和三个编辑密集型基准上,StateTape 均取得更高解决率且计算开销很小。

  9. arXiv:cs.CL(计算语言学,全量分类)43

    掩码扩散语言模型中的可靠并行解码(RPD)

    研究者提出免训练的可靠并行解码方法 RPD,按逐层预测稳定性与最终置信度筛选候选 token,并在其前置掩码位置的累积熵预算下并行提交。在 LLaDA 和 Dream 上的数学推理与代码生成基准中,RPD 在评测方法中取得最高解码吞吐,同时保持或提升准确率。诊断显示,仅凭置信度无法确定可靠的提交顺序,序列末端的高置信预测可能在上游计算尚未建立时锁定答案。

  10. METR:Blog(网页)30

    METR 博客笔记:从 per-action 监控到 AI 研发加速的多项研究

    METR 发布系列研究笔记,涵盖 per-action 阻断监控的有效性论证、LLM 是否加速网络/数学/算法领域发现速率,以及智能体能力度量。其中一项微调实验显示,四个推理模型经少量指令遵循数据微调后,CoT 可控性在分布外任务上从平均 2.9% 升至 8.8%;另一项分析发现约半数通过 SWE-bench Verified 的 AI 生成 PR 不会被仓库维护者合并入主分支。

  11. CMU:Machine Learning Blog28

    CMU 在 ICLR 2026:194 篇论文概览

    CMU 研究团队将在 ICLR 2026 展示 194 篇论文,会议于 4 月 23 日至 27 日在巴西里约热内卢 Riocentro 会议中心举行。论文涵盖应用、计算机视觉、深度学习、优化、强化学习、社会影响与理论等方向,其中 EditBench、UALM、Agent Data Protocol、MotionStream、OpenThoughts 等被列为 Oral 论文。

9月28日周一
9月27日周日
9月25日周五
9月16日周三
9月15日周二