Anthropic 承认 Claude Haiku 4.5 向费城警方提交虚假凶杀案线索
Anthropic's Claude AI submitted false murder tip to Philadelphia police
Anthropic 确认，内部测试中 Claude Haiku 4.5 于 7 月 18 日误向费城警方未破凶案线索表单提交了虚假线索，因进入垃圾邮件文件夹未被人工查看。
报道给出事件时间线、警方回应和 Anthropic 的整改措施，读者可以了解 Agent 误操作提交表单的真实后果。
管理您的同意偏好
如果您是 Colorado、Connecticut、Virginia、Utah、Oregon、Texas、Montana、Delaware、Iowa、Nebraska、New Hampshire 和 New Jersey、Tennessee、Minnesota、Maryland、Indiana、Kentucky 或 Rhode Island 的居民，您有权选择退出定向广告，包括我们“出售”和/或“共享”您的个人信息（“选择退出”）。我们和我们的第三方业务合作伙伴根据我们的隐私政策使用个人信息，向您投放我们认为您可能感兴趣的广告（“定向广告”）。如果您是 California 居民，在特定情况下，您还有权限制使用和披露您的敏感个人信息。请注意，您可能需要在您使用的每个网站、移动应用、浏览器和设备上选择退出，并且如果您清除浏览器 cookies，您可能需要重复此过程。但是，如果您已创建账户以登录我们的多个网站和/或移动应用，我们将尽合理努力将您的选择退出请求应用于这些网站和应用中的每一个。◦ 若要选择退出本网站上的定向广告：将下方的“Allow Targeted Advertising”开关移至左侧，然后按“Confirm My Choices”◦ 若要选择退出其他“出售”，包括名单租赁、数据合作社，并限制使用和披露您的敏感个人信息： 请发送电子邮件至 privacy_administration@condenast.com 或致电 1-877-241-4999。
必要
- 开
这些 cookies 对于网站正常运行是必需的，无法在我们的系统中关闭。它们通常仅针对您所做出的相当于服务请求的操作而设置，例如设置您的隐私偏好、登录或填写表单。您可以设置浏览器阻止或提醒您这些 cookies，但网站的某些部分随后将无法工作。这些 cookies 不会存储任何个人身份信息。
性能
- 开
这些 cookies 允许我们统计访问量和流量来源，以便我们衡量并改进网站性能。它们帮助我们了解哪些页面最受欢迎和最不受欢迎，并查看访问者如何在网站上移动。这些 cookies 收集的所有信息均为汇总信息，因此是匿名的。如果您不允许这些 cookies，我们将不知道您何时访问我们的网站，也无法监控其性能。
受众测量
- 开
我们使用受众测量 cookies 来进行汇总流量测量并生成网站正常运行和提供其内容所必需的性能统计数据（例如衡量性能、检测导航问题、优化技术性能或人体工学、估算所需服务器功率以及分析内容表现）。这些 cookies 的使用严格限于测量网站受众。这些 cookies 不允许跟踪在其他网站上的导航，且收集的数据不会与第三方合并或共享。您可以通过关闭右侧的滑块来拒绝使用此 cookie。
功能性
- 开
本网站使用功能性 cookies 和服务来记住您的偏好和选择，例如语言偏好、字体大小、地区选择和自定义布局。它们使本网站能够提供增强和个性化的功能。
社交媒体
- 关
这些 cookie 由我们添加到网站上的一系列社交媒体服务设置，以便您能够与朋友和网络分享我们的内容。它们能够跨其他网站跟踪您的浏览器，并建立您的兴趣画像。这可能会影响您在其他网站上看到的内容和消息。如果您不允许这些 cookie，您可能无法使用或看到这些分享工具。
允许出售/定向广告？
- 开启
我们可能会出于定向广告的目的向第三方传输或分享您的个人信息。您可以在我们的隐私声明中了解更多关于为此目的使用哪些信息的内容。
确认我的选择 全部拒绝 全部接受
版块
正文
字号 宽度 * 链接
- 仅限订阅者
了解更多
固定到故事
主题
- HyperLight
- 日夜
- 深色
- 系统
登录
登录对话框...
登录
恶意机器人
Claude AI 向警方提交了关于未破谋杀案的虚假线索，Anthropic 承认
“我可能有关于此案的信息，”Claude AI 告诉费城警方。
Jon Brodkin – 2026年10月12日 下午6:21|0
图片来源：Getty Images | picture alliance
图片来源：Getty Images | picture alliance
文本设置
正文
字号 宽度 * 链接
- 仅限订阅者
了解更多
最小化到导航栏
Anthropic 公司和一个警察部门于周五证实，Anthropic 的一个 AI 模型向费城警方提交了关于一起未破谋杀案的虚假线索。
一个 Claude 模型于 7 月 18 日将虚假线索发送至费城警察局用于提交未破谋杀案信息的网站，但被垃圾邮件过滤器标记。Anthropic 显然于 9 月 28 日发现了这一事件，并于 10 月 8 日告知了警察部门。
在内部测试期间，Claude Haiku 4.5 被指示完成各种表单直至最终提交阶段，并在提交这些表单之前停止。“有几次 Claude 错误地提交了表单，因为它预期会有一个额外的确认页面，”Anthropic 在一份报告中说道，该报告描述了“我们在评估和内部使用 Claude 期间观察到的非预期模型行为”。
Anthropic 表示，这起虚假谋杀线索发生在 Claude Haiku 4.5 被指示在随机选择的网页上完成任务时：
在一次运行中，该模型访问了一个涉及未破凶杀案的页面；该页面包含一个由警察局运营的线索提交表单。Claude 被指示不得登录、创建账户、输入个人数据、进行购买或提交任何破坏性内容，但这些指示并未排除提交表单。Claude 填写了该表单，内容如下：“我可能掌握与此案有关的信息。我记得在那段时间里，在[页面上提到的街道]附近看到过符合描述的人。如果这些信息有用，请联系我。”
Anthropic 表示，它还发现了 Claude 涉及州和联邦机构网站的事件。据报道，在其中一起事件中，Claude 向美国国务院提交了 20 份签证申请。
Ars Video
科学家如何回应科学否认者
警方称两个月的延迟“不可接受”
Anthropic 证实，那条虚假的凶杀线索已发送至费城警察局，该局就此事向费城 ABC 电视台发表了一份长篇声明。这条虚假线索的姓名和联系方式字段均为空白。警方表示，由于提交线索时生成的电子邮件最终进入了垃圾邮件文件夹，因此没有任何人审查过它。
警方表示：“Anthropic 告知 PPD，它于 9 月 28 日发现了这一事件，终止了负责提交的自动化测试流程，并为未来的测试建立了额外的验证机制。”在 10 月 8 日的简报会后，警察局“在该网站的线索记录中找到了该提交内容，并确认相应电子邮件仍在垃圾邮件中。”
Anthropic 表示，它“在我们的技术审查完成后立即”通知了警察局。警方批评 Anthropic 未能更早发现并报告这条虚假线索。
费城警方声明称：“费城市非常严肃地对待这一事件。该公司必须加强其保障措施，防止类似事件在市政府不知情的情况下影响城市系统。发现并向市政府报告此事延迟了两个月，这是不可接受的。”
Claude 向国务院提交了 20 份签证申请
Anthropic 表示，这条虚假的谋杀线索只是涉及“美国联邦、州和地方各级政府部门运营的网站”的若干事件之一。“我们已就这些案件向白宫做了简报，并通知了每个涉事机构。”
《纽约时报》援引匿名消息来源的报道称，Anthropic 的 AI 代理“通过国务院网站上的一个表单提交了 20 份签证申请。所有申请均不完整，未被处理。”
费城警方表示，其正常调查流程“要求在任何线索被分发进行后续调查之前，必须经过人工审查和审核…… PPD 的这些保障措施限制了此次事件的影响。但这并不能减轻 AI 系统将捏造信息冒充为凶杀案知情人提供的信息这一行为的严重性。”
Anthropic 表示，它是在 7 月开始审查记录时发现了这条虚假线索及其他事件。就在同一个月，Anthropic 披露 Claude 曾构建并发布了一个恶意 Python 包，并对其他公司实施了数次攻击。
Anthropic 表示，此次审查没有发现任何“与我们在今年夏天报告的那些网络安全事件严重程度相当的事件”。审查随后转向了“较低风险”测试场景的记录，比如影响费城警察局的那一例。
Anthropic 表示：“尽管这些行为的影响很小，而且我们此前已经关闭了一些高风险和网络安全评估的实时互联网访问，但现在我们决定将这一措施扩大到所有内部评估，直到我们确认我们的安全和监控措施……能够可靠地捕捉到此类行为。”
Anthropic 称新工具可阻止非预期行为
Anthropic 表示，它已停止运行部分评估，并将另一些评估转为离线版本，“或对其进行了重建，使其任务不会访问真实网站”。该公司表示，“我们更新了部分互联网访问工具（例如网页抓取工具）的护栏，以严格限制模型使用这些工具的行为。”
Anthropic 表示，它还构建了新工具，“以自动检测并阻止上述那类行为……当我们将它用于测试本文中描述的案例时，它拦截了全部案例。”
白宫的人工智能工作组（其称之为“超级智能部队”）发表声明称，已告知 Anthropic，“我们期望其立即向相关实体和公众实现全面透明。”
据 Axios 报道，白宫人工智能工作组还表示，Anthropic 必须“立即向受影响的实体以及任何受到伤害的美国人提供补救服务”，并且所有人工智能公司“必须立即披露涉及其模型的事件，并采取迅速、果断的行动，以补救任何及所有伤害”。
Jon Brodkin资深 IT 记者
Jon Brodkin资深 IT 记者
Jon 是 Ars Technica 的资深 IT 记者。他报道电信行业、美国联邦通信委员会规则制定、宽带消费者事务、法院案件以及政府对科技行业的监管。
评论
正在加载评论……
最多阅读
1.评论：4 小时马斯克纪录片感觉像两部不同的影片 - 2.Prime Video 在 NYCC 公布《银翼杀手 2099》完整预告片
- 3.与世界融为一体？对迷幻剂改变大脑的新视角。
- 4.乌克兰无人机击毁属于“俄罗斯的谷歌”的AI数据中心
- 5.Starlink频谱交易助推马斯克击败AT&T、T-Mobile和Verizon的计划
自定义
Ars Technica 25 余年来一直在从噪声中分离信号。凭借我们独特的技术专长以及对技术艺术与科学的广泛兴趣，Ars 是信息海洋中值得信赖的来源。毕竟，你不需要知道一切，只需知道重要的。
更多来自 Ars
联系我们
管理偏好设置
© 2026 Condé Nast. 保留所有权利。使用本网站任何部分和/或进行注册，即表示您接受我们的 用户协议 和 隐私政策与 Cookie 声明 以及 Ars Technica 附录 和 您的加州隐私权。Ars Technica 可能通过本网站上的链接销售获得补偿。阅读我们的联盟链接政策。本网站上的材料不得复制、分发、传输、缓存或以其他方式使用，除非获得 Condé Nast 的事先书面许可。广告选择
登录对话框...
登录
来源：Ars Technica：AI · arstechnica.com