METR：Notes（网页）·· 12 小时前精选AI 评分68
METR 研究：约半数通过 SWE-bench Verified 的 AI PR 不会被维护者合并
Many SWE-bench-Passing PRs Would Not Be Merged into Main March 10, 2026 We find that roughly half of test-passing SWE-bench Verified PRs written by recent AI agents would not be merged into main by repo maintainers. A naive interpretation of benchmark scores may lead one to overestimate how useful agents are without more elicitation or human feedback. Read more
AI 导读
METR 研究发现，2024 年中至 2025 年中后期模型生成的通过 SWE-bench Verified 自动评分的 PR 中，约一半不会被仓库维护者合并进 main。
推荐理由
研究用真实维护者评审量化 SWE-bench 分数与实际可合并 PR 的差距，为解读编码基准提供了更审慎的参照。
来源：METR：Notes（网页） · metr.org