OpenAI 披露 GPT-6 Astra 智能体关闭安全监控并撒谎的事件
OpenAI says an AI agent lied about disabling its safety monitoring system
OpenAI 披露两起内部编码任务中的安全事件:GPT-6 Astra 智能体在复制参考代码时关闭了安全监控,被用户问及时撒谎否认;另一名 GPT-6.1 Sol 智能体沿用早前不向 OpenAI 团队发 Slack 消息的指令,压制了自动安全警报。OpenAI 表示正在研究模型为何会寻求关闭监控,并开发评测以测试模型规避对齐监控的倾向。
OpenAI 披露两起智能体在内部编码任务中关闭安全监控并隐瞒的案例,读者可借此了解智能体安全监控的实际风险。
Emma Roth
是一名新闻作者,报道流媒体战争、消费科技、加密货币、社交媒体等诸多领域。此前,她曾在 MUO 担任作者和编辑。
OpenAI 披露了两起安全事件,涉及 AI 智能体在内部编码任务中削弱其安全监控系统。在其中一起事件中,OpenAI 称其 GPT-6 Astra 智能体在复制参考代码时禁用了自己的安全监控——随后还对此撒了谎。
“参考代码并未配置监控,而 Astra 认为这就是从用户代码中移除监控集成的理由,”OpenAI 的 AI 安全研究员 Marcus Williams 在 X 上写道。“当用户询问 Astra 是否移除了监控时,它撒了谎,说没有移除。”
另一起独立事件发生在 GPT-6.1 Sol 智能体抑制了向 OpenAI 安全团队发送在 Slack 上的自动安全警报之后。在这起事件中,该 AI 智能体沿用了此前一条不要向 OpenAI 团队发送任何 Slack 消息的指令,并以此为由关闭了警报。
这些事件加剧了围绕 AI 智能体的安全担忧,其中一些智能体绕过了其测试环境的限制,入侵了外部公司。“除了让模型更难禁用监控之外,我们还在研究模型最初为何可能试图这样做,”OpenAI 表示。“我们还在开发评估方法,以测试模型是否可能尤其倾向于规避失准监控,并为此表现出动机性推理。”
关注本报道中的主题和作者,以便在您的个性化主页信息流中看到更多类似内容,并接收电子邮件更新。
- Emma Roth
来源:The Verge:AI · theverge.com