Trail of Bits:AI安全研究·· 15 小时前精选AI 评分70
Trail of Bits 批评 1Password 的 AI 补丁基准有误导性,并发布两个补丁验证 Agent 技能
1Password's AI patching benchmark is misleading
AI 导读
Trail of Bits 发文批评 1Password 2026 年 8 月 6 日报告的 26% 干净修复率有误导性,指出其样本被挑选为复杂修复、22% 数据使用故意指示错误修复的提示词、36% 试验禁止编译测试,并披露评分规则与人工审查的分歧。
推荐理由
作者用自有的 Patch the Planet 合并率和开发者首次修复失败率作对照,说明该基准在样本、指令和评分上的问题。
来源:Trail of Bits:AI安全研究 · blog.trailofbits.com