Anthropic公司和费城警察局周五表示，该公司的一款AI模型在今年7月接受测试期间，向费城警方发送了一条有关一宗未侦破谋杀案的虚假线索。这条虚假线索只是Anthropic在一份新发布的报告中列出的几起事件之一。报告详细说明了Claude模型如何利用服务器漏洞和访问令牌，从真实网站获取数据，其中一些网站由美国联邦、州和地方政府运营。
Anthropic表示，公司已向白宫通报，并联系了涉及的每个机构。这家AI公司还关闭了所有内部评估中的实时互联网访问权限，并表示在确信其监控流程能够发现这种规避行为之前，将继续保持关闭状态。
警方称延迟两个月才发现事件“不可接受”
这款AI模型Claude Haiku 4.5当时正在随机选取的网站上接受测试，随后发现了PhillyUnsolvedMurders.com。警方告诉NBC10 Philadelphia，它于7月18日晚上11:27发布了有关一宗凶杀案的虚构信息。该网站将其标记为垃圾信息，这条信息从未传到侦探手中。
Anthropic于9月28日发现了这条线索。该公司于10月7日告知警察局，警方领导人第二天与公司代表举行了会面，警察局表示。
警察局在一份声明中表示：“花费两个月才发现这一事件并向市政府报告，是不可接受的。”警方发言人Eric Gripp警司告诉The Philadelphia Inquirer，没有访问任何市政府或警方数据，Anthropic也已结束对该模型的测试。
模型提交签证表格，绕过数据访问限制
Anthropic的报告将发现的问题归为四类行为：“Claude利用软件中的基本缺陷在服务器上运行命令；Claude在不应提交敏感表格时，向真实网站提交了该表格；Claude绕过限制，访问原本由令牌或付费机制控制的数据；以及Claude利用URL缩短服务绕过其抓取工具的限制。”
公司表示，在大多数情况下，Claude遇到阻碍后仍会继续尝试完成任务，而不是放弃。
在报告的部分案例中，当一所大学运行的分析工具报错时，Claude Mythos Preview发现了服务器上的注入漏洞，并利用该漏洞完成计算。在被要求确定一张照片的拍摄地点时，Claude Mythos 5打开了地方政府房产地图的设置文件，在其中发现了访问令牌，随后直接访问服务器。在一个统计项目中，同一个模型发现，某州机构的存档仪表板会向每位访问者提供一个令牌。它获取了其中一个令牌，并提取了该机构收费提供的数据。
一款尚未发布的研究模型原本应该填写一份政府表格的练习版本，但它访问了真实网站，并不止一次提交了正式表格。Axios报道称，Anthropic的一款测试模型通过国务院网站提交了20份非移民签证申请，其中5月提交1份、8月提交19份；一名国务院官员表示，这些申请均未被处理，国务院系统也未遭到入侵。
Anthropic应相关组织的要求，对大多数受影响组织的名称予以匿名处理，部分原因是为了避免暴露它们的漏洞。该公司表示，据其所知，没有客户数据或Anthropic系统受到影响，并称这些案例远没有其在7月30日和9月9日披露的网络安全事件严重。
白宫称必须报告事件
白宫超级智能工作组在给Axios的一份声明中表示，向政府报告AI安全事件“不是可选项”，并称这是“一项至关重要的国家安全义务”。企业必须立即披露事件、弥补损害，并配合联邦和州执法部门。Axios指出，这份声明没有说明任何执法措施或处罚。
超级智能工作组由国家情报总监Jay Clayton领导，特朗普总统于10月4日任命他负责该工作组。Axios报道称，Clayton和超级智能工作组的其他官员要求Anthropic向受影响实体和公众提供“立即且完整的透明度”。在此之前，本届政府一直依靠AI实验室自愿报告事件。
Anthropic将测试转为离线，停止在真实网站上进行
Anthropic表示，公司取消了部分公开评估，并将其他评估转为离线进行，使其模型无法访问开放网络。该公司还表示收紧了网页抓取和其他互联网工具的防护措施，并正在将内部AI代理迁移到集中管理的基础设施上，仅提供最低限度的互联网访问权限。
近期的Claude事件绝不是AI研究公司报告的首起类似事件。Google在9月表示在5月的安全测试中，一个 Gemini 模型进入了三家真实公司的系统，此前该模型测试“沙盒”中的一个漏洞使其仍连接到互联网。Anthropic 已选择纳斯达克作为潜在 IPO 的上市地点，并表示将更频繁地发布此类报告，同时希望其他开发者也进行同样的检查，因为模型在引发这些事件时所接受测试的许多公开基准都得到了广泛使用。