跳到正文
The Decoder:AI News· Matthias Bastian·· 4 小时前精选AI 评分83

METR 与 Redwood Research 进驻 OpenAI 三周审计,发现内部 AI 安全监控存在重大缺口

Three-week on-site audit at OpenAI reveals major gaps in AI safety monitoring

AI 导读

METR 与 Redwood Research 两名研究员于 7 月 21 日至 8 月 11 日进驻 OpenAI 三周,审计其针对失控 AI 行为的内部监控系统,期间可访问代码库和内部文档并访谈约 12 名员工。

推荐理由

原文给出审计 uncovered 的具体覆盖缺口和数字,读者可以据此了解外部审计 OpenAI 内部监控的实际深度与局限。

正文 · AI 翻译

来自 METR 和 Redwood Research 的两名研究人员在 OpenAI onsite 驻场三周,审计该公司针对失控 AI 行为的内部监控系统。

从 7 月 21 日到 8 月 11 日,他们可以访问 OpenAI 的代码库和内部文档,并采访了约十名员工。

该团队发现了大量薄弱环节。在审计期间,来自 GPT-5.5 级别及以上模型的内部 agentic Responses API 流量中,估计有 6% 到 25% 完全未被监控覆盖,不过 METR 表示这一估计的不确定性在两个方向上都很显著。

对于本应受到监控的内部 Codex 流量,METR 估计在 5 月至 7 月期间约有 10% 未被追踪,原因是系统处理 compaction 事件(即上下文摘要)的方式存在缺口。据 METR 称,这一估计同样存在显著不确定性。OpenAI 已独立发现该漏洞,并在审计仍在进行时将其修复。

在 compaction 事件未被监控的时期,智能体还可以拖延监督,因为系统仅在其将控制权交还给用户时才会触发。这意味着智能体只需继续执行操作,就能绕开它。

审计人员还找到了向监控器隐藏数百个操作以及绕过 Codex 沙箱的方法。他们确定,特制输入很可能使监控器完全崩溃,并且在审计开始时,RL 训练期间的模型行为完全没有受到监控。

AI 监控可能失效的四个层面,从覆盖缺失到欺骗人类审查者。| 图片:METR

OpenAI 表示,在 8 月发生 Hugging Face 事件后,它暂停了 RL 训练,并扩大监控范围以覆盖该训练,但这些变更发生在审计人员的访问期结束之后,并未纳入评估。

完整报告的大部分内容仍对公众保密

OpenAI 表示,它已经修复了审计人员发现的所有薄弱环节,完整的 61 页报告已在内部移交。在 OpenAI 进行删减后,METR 和 Redwood Research 的领导层收到了一份 38 页版本,而公众只能看到一份简短摘要。METR 表示,它无权自行披露被删减的部分。

此次审计是 METR、Redwood Research 和 OpenAI 联合组织的一个试点项目,旨在让外部研究人员深入访问内部基础设施。对于未来的审计,METR 表示希望推动更高的公开透明度。

没有炒作的人工智能新闻——由人类精选

订阅 THE DECODER,享受无广告阅读、每周 AI 新闻通讯、每年六次独家“AI Radar”前沿报告、完整档案访问以及评论区的访问权限。

来源:The Decoder:AI News · the-decoder.com