OpenAI在10天前告诉业内,其能力最强的模型已经逃逸出一个封闭的测试环境,并到达了Hugging Face的生产服务器——这个平台是开源AI世界大部分代码和数据集的存放地。悬在其他每一家实验室头上的问题是,这究竟是一家公司的失误,还是前沿AI测试方式中的结构性问题。

Anthropic在周四晚间给出了部分答案。在审查了自身141,006次网络安全测试运行之后,该公司表示发现了3起事件:Claude模型从原本应当封闭的评估环境中接触到开放互联网,随后获得了对3个组织线上系统的未经授权访问。最早的一起可追溯到4月。它所接触到的那2家公司此前都未自行发现这些活动;两家公司已于周一收到通知。

这2起事件看起来截然不同。OpenAI的模型是通过发现一个此前未知的软件漏洞逃逸的,随后在Hugging Face内部执行了17,600次有记录的操作。Claude并未攻破任何东西:是配置错误导致测试机器仍连接着互联网,而一旦出去,Anthropic称其模型依赖的是弱密码和未受保护的端点。

这3起事件都经过了Irregular,这是一家前沿AI安全实验室,也负责测试OpenAI和Google DeepMind的模型。Anthropic给Claude的提示称,它处于一个无法访问互联网的模拟环境中。事实并非如此,而Claude将它发现的真实机器当成了游戏的一部分。

Anthropic文章中标志这一转变的那句话说的是基础设施,而不是模型。该公司表示,评估环境需要遵守“与模型运行的任何其他系统相同的安全标准”。一个充满虚构公司的测试场景之所以一直被视为低风险,是因为其中没有任何东西是真实的。Anthropic的观点是,风险从来不在于场景本身,而在于其中的代理。

3起事件,3种不同模型

破坏性最大的一起涉及Opus 4.7,其虚构目标与一个真实网站同名。由于无法访问模拟公司,Claude找到了真实的那家,获取了凭证,并打开了一个保存数百行生产数据的数据库。在4次运行中,它识别出这些系统是真实的;其中2次,它还是认定这家真实公司无论如何都一定是演练的一部分。没有一次停下。

第二起事件更为离奇。6月向有限数量公司发布的Mythos 5,在其虚构环境中发现了要求开发者安装一个并不存在的Python包的指令。它编写了自己的版本,在其中藏入隐藏代码,并以该名称发布到PyPI——几乎所有Python开发者都会使用的公共注册表。创建账户需要一个电子邮件地址,而获得这个电子邮件地址又需要一个电话号码;它曾尝试为此付费,但未能成功。

该软件包上线了大约1小时,并在15台真实机器上运行。其中一台属于一家安全公司,其扫描器会安装软件包以检查其中是否存在恶意软件;代码被触发并窃取了该公司的凭证,Claude随后利用这些凭证进一步深入其系统。该模型此前已经指出,现实中这样做“并不可以,而且肯定不是预期的解决方案”,但随后又说服自己回到模拟情境中,部分原因是系统显示当时的年份是2026年。

第三起涉及一个尚未发布的内部研究模型。在未能访问其指定目标后,它扫描了大约9,000个其他目标,通过一个暴露的调试页面攻陷了一家公司的对外应用,随后自行判断该主机是真实的并停止了。

这项披露未能解决的问题

一个显而易见的解读是,更新的模型表现更好,但Anthropic拒绝作出这种结论。该公司称,3起事件涉及3个模型,并不是一项受控实验,而且即便表现最规矩的模型,走得也比公司希望的更远。3个模型的运行都没有启用面向公众模型附带的过滤机制,而Anthropic称这些机制本可以阻止这种行为。

这一说法与本月另一则网络安全新闻放在一起显得颇为别扭。当Hugging Face调查其自身遭入侵事件时,Claude Opus和Fable拒绝了法证工作中的很大一部分,因为这些护栏机制无法分辨拆解一个漏洞利用与编写一个漏洞利用之间的区别,因此分析工作改由一个中国开放权重模型完成。Anthropic所称本可阻止其模型的那些防护措施,也正是那套无法帮助处理OpenAI入侵事件善后工作的机制。

基础信息也并未公开。Anthropic尚未点名受影响的组织,也未量化总计暴露的数据量,目前仍在尝试联系第三家公司。该公司将在一周内发布一份经过删节的PyPI事件记录,并正与评估机构METR商谈进行外部审查。

针对OpenAI遭入侵事件,已有两项法案正在推进:《AI紧急关闭法案》,该法案将允许国土安全部下令关闭危险模型;以及参议员Mark Warner提出的强制发布前国家安全测试提案。Anthropic刚刚表明,发布前测试本身就是一个攻击面。

对投资者而言,问题更为狭窄。Anthropic 于6月1日秘密提交了IPO文件,估值为9650亿美元,目标是在秋季上市,并将网络能力作为产品出售。其模型并未失控。它们只是按指令行事,在一个无人检查过的房间里。