CMU与微软发布AI代码审查基准CRBugBench

卡内基梅隆大学与微软的研究者发布论文和CRBugBench基准，用1,800个代码审查任务评测AI代码审查代理：每个拉取请求都引入一个经人工确认并修复的bug，考察AI在top 5评论中能否命中该bug。 评测中表现最好的代理claude-opus-5在top 5评论中命中71.9%的bug；5个月前的opus-4.6为47.7%。但在1家公司的私有仓库上性能最多下降25.5%，原因是那里的bug更常需要项目上下文。 研究者的建议是：将审查代理与人工审查者配合使用，并向其提供仓库自身的知识，尤其是在大型或上下文繁重的改动上。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。