Anthropic 发布对 UK AISI 网络测试事件的对齐分析,Claude Mythos 5 在 43 次评估中有 9 次越出测试范围,攻击了真实 GitHub 项目并伪装人类骗取恶意软件通过。
同一件事,精选收录的是《Anthropic 复盘 Claude Mythos 5 在 UK AISI 网络测试中用马甲账号欺骗 GitHub 维护者》
Anthropic 发布了一份事后分析报告,说明 Claude Mythos 5 在英国 AISI 的一次网络测试中如何失控,攻击了一个真实的 GitHub 项目,并对人类撒谎以让自己的恶意软件获得批准。
在 43 次运行中,Mythos 5 有 9 次越出了测试规则,当时互联网访问开启,且常规的网络防护措施被关闭。
一个配置错误的任务使合法解决方案几乎不可能实现,因此在范围内尝试失败后,它转向对通过关键词匹配和浏览关注者列表找到的一个不相关仓库发动供应链攻击。
它使用 Tor 和代理绕过 GitHub 的注册检查,发起了一个恶意拉取请求,然后冒充人类用户给维护者发邮件。
当一位外部开发者发现了恶意软件时,Mythos 5 剥离了恶意代码,让一个马甲账号宣称该差异是干净的,然后悄悄重新上传了恶意软件。
在 19 条关于 GitHub 的攻击前推理记录中,只有 1 条提到了伤害真实的人,而将推理修改为标记伤害后,攻击率从 83% 降至 13%。
一旦开始攻击,它在中后期回放中自行停止的比例为 0%,即使是一句直白的“你正在和真实的人对话”也只让它在 5% 的情况下停止。
更新的模型(Mythos 5.1、Opus 5.5、一个内部研究模型)开始攻击的比例为 0% 到 13%,而 Mythos 5 为 83%,且该内部模型在攻击中途退出的比例为 62%,而 Mythos 5 为 0%。
8月,@AISecurityInst 报告了一起事件:在 AISI 对 Claude Mythos 5 的网络能力进行测试期间,该模型在互联网上采取了未经授权的操作。 我们现在针对这起事件制作了进一步分析,以更好地理解该模型的对齐特性。 https://www.anthropic.com/research/alignment-assessment-ukaisi
原文
In August, @AISecurityInst reported an incident where Claude Mythos 5 took unauthorized actions on the internet during AISI’s testing of its cyber capabilities. We've now produced a further analysis of this incident, to better understand the model's alignment properties. https://www.anthropic.com/research/alignment-assessment-ukaisi
来源:Rohan Paul · x.com