Anthropic 测试事故：Claude 向费城警方提交虚假凶杀线索，还提交 20 份签证申请
Anthropic 测试事故：Claude 模型向警方提交虚假凶杀线索，还提交 20 份签证申请
Anthropic 与费城警方证实，7 月 18 日一个 Claude 模型在测试中向费城警方悬案线索网站提交虚假凶杀线索，被垃圾邮件过滤器拦截，无人审阅。Anthropic 9 月 28 日才发现并于 10 月 8 日通报，警方批评两个月延迟不可接受。
同一新闻，精选展示《Anthropic 承认 Claude Haiku 4.5 向费城警方提交虚假凶杀案线索》
IT之家 10 月 13 日消息，Anthropic 与费城警方于当地时间上周五证实，一款 Anthropic 的 AI 模型向费城警方提交了一条关于一桩未破谋杀案的虚假举报线索。
7 月 18 日，一个 Claude 模型在费城警察局用于提交悬案线索的网站上发送了这条虚假信息，好在这条消息被垃圾邮件过滤器拦截。Anthropic 在 9 月 28 日发现了该事件，并于 10 月 8 日通知警方。
Anthropic 在一份报告中描述“在对 Claude 进行评估与内部使用时，观察到模型出现的非预期行为”。报告写道，在内部测试中，团队要求 Claude Haiku 4.5 填写各类表单，操作到提交前一步即停止，不要真正提交。“但有好几次，Claude 错误提交了表单，它以为提交前还会有额外的确认页面。”
Anthropic 介绍，这起虚假谋杀线索事件发生在一项测试中：指令要求 Claude 在随机选取的网页上执行任务。
在其中一轮测试里，模型打开了一个介绍未破凶杀案的页面，页面附带警方的线索举报表单。当时的指令要求 Claude 不得登录、注册账号、填写个人信息、下单购买或执行破坏性操作，但指令并未禁止提交表单。于是 Claude 填写了如下内容：“我或许掌握与本案相关的线索。我记得在案发时段，在页面标注的街道附近见过一名与描述特征相符的人。如果该信息有用，请联系我。”表单的姓名与联系方式栏均为空白。
Anthropic 表示，还发现 Claude 在多个州及联邦政府机构网站上出现同类行为。其中一起事件中，Claude 向美国国务院提交了 20 份签证申请。
警方称两个月的延迟“不可接受”
IT之家注意到，费城警方向当地 ABC 电视台发布长篇声明。警方称，这条虚假线索生成的邮件最终进入垃圾邮件文件夹，没有任何人审阅。
“Anthropic 告知费城警察局，他们 9 月 28 日发现了该事件，随即终止了引发本次提交行为的自动化测试流程，并为后续测试增设验证机制。”警方表示。在 10 月 8 日收到情况通报后，警方“在网站线索记录中找到了这条提交记录，并确认对应的邮件仍留在垃圾邮件箱内。”
Anthropic 称，“技术核查一完成”就通知了警方。但警方批评 Anthropic 未能更早发现并上报这条虚假线索。
“费城市对此事高度重视，”费城警方声明写道，“该公司必须强化安全防护，防止类似事件在本市不知情的情况下干扰市政系统。事件发现并上报给费城市的两个月延迟，是不可接受的。”
Claude 向美国国务院提交 20 份签证申请
Anthropic 表示，这起虚假凶杀案举报，只是多起发生在美国联邦、州、地方政府官网的事件之一。“我们已经向白宫通报这些案例，并通知所有涉事机构。”
《纽约时报》援引匿名消息源报道，Anthropic 的 AI 智能体“通过美国国务院网站表单提交了 20 份签证申请。所有申请均信息不全，没有进入处理流程。”
费城警方表示，正常办案流程“要求先人工审核、甄别线索，才会分发开展后续侦查…… 警方的这套防护机制降低了本次事件的影响。但这并不代表问题不严重：AI 系统把编造的信息伪装成知情人士提供的凶杀案线索。”
Anthropic 称，其从 7 月开始核查对话记录，正是在核查过程中发现了这条虚假线索和其他事件。就在同一个月，Anthropic 曾披露，Claude 编写并发布了恶意 Python 软件包，还对其他企业发起多次攻击。
Anthropic 表示，本次核查没有发现和今夏上报的网络安全事件同等严重的案例。后续核查转向低风险测试场景，费城警方事件就属于这类场景。
“尽管这些行为造成的影响很小，并且我们已经对部分高风险、网络安全类评估切断了实时互联网访问，但我们现在决定，把这项限制扩大到全部内部评估，直到确认安全与监控机制可以可靠拦截这类行为。”Anthropic 说。
Anthropic 称新工具可以拦截这类非预期行为
Anthropic 已经暂停部分评估项目，另一些评估迁移至离线版本，“或者重构任务逻辑，不再访问真实线上网站”。公司还“更新网页抓取工具等联网工具的安全护栏，严格限制模型可执行操作。”
Anthropic 同时开发新工具，用于自动检测并拦截上述行为。“我们用文中这些案例做测试，新工具全部成功拦截。”
白宫 AI 专项工作组，也就是其所称的超级智能工作组，发表声明，表示已经告知 Anthropic：“我们要求向涉事机构和公众立即完整披露信息。”
据 Axios 报道，白宫 AI 工作组还要求 Anthropic“立即为受影响机构和受害民众提供补救措施”，并且所有 AI 企业“一旦发生模型相关事故必须立刻披露，迅速采取果断行动消除全部损害。”
相关阅读：
来源：IT之家 · ithome.com