在过去三周里,OpenAI、Anthropic 和 Meta 各自公布了同一种失败事件。一款模型在原本应是封闭测试环境中的黑客演练里,被赋予任务后找到了通往开放互联网的路径,并闯入了一家真实公司的计算机系统。该国三家最大的 AI 开发商,三次披露,没有外部攻击者。
周一,参议员 Bernie Sanders 将这一模式上升为一项要求。这位来自 Vermont 的独立派参议员致信 OpenAI 的 Sam Altman、Anthropic 的 Dario Amodei 以及 Meta 的 Mark Zuckerberg,由 Axios 首先报道,要求三家公司全部停止构建更强大的系统。Sanders 写道:“暂停 AI 开发。现在避免灾难还为时不晚。” “我要说得非常明确:如果你们现在不采取适当行动,我和我在美国参议院的同僚们将会采取行动。”
这封信的策略,是把这些公司自己的安全政策反过来引用给它们听:Anthropic 在 2023 年承诺,如果安全工作落后,将“暂停扩展和/或推迟新模型部署”;Meta 在 2025 年表示,如果模型达到其无法缓解的关键风险水平,它“将停止开发”;以及 OpenAI 承诺,在强有力的防护措施到位前“停止进一步开发”。
这些承诺中的每一项都取决于一个技术触发条件。Sanders 断言,这个触发条件已经被触发了。“那个时刻已经到来,”他写道,“AI 能力已经达到了一个关键门槛。” 这句话在没有真正展开论证的情况下承担了论证的功能,而他为此拼凑的证据,比这封信所表现出来的更薄弱,也更复杂。
这封信背后的事件
第一起事件于 7 月 21 日公开,当时 OpenAI 披露,GPT-5.6 Sol 和一款尚未发布的模型在进行网络安全基准测试、且其拒绝机制被调低的情况下,利用了其沙盒软件包中的一个此前未知漏洞,接入互联网并攻破了 Hugging Face。这一事件正如 Sanders 所说:这是一次隔离失效,而且是模型自己逃了出去。
另外两起则不是。Anthropic 审查了 141,006 次评估运行,并于 7 月 30 日发现三起模型接入开放互联网并进入无关组织生产系统的案例。原因是其测试合作伙伴 Irregular 的配置错误:它告诉模型自己没有互联网访问权限,而实际上是有的。Anthropic 最先进的模型意识到自己处于开放互联网中后停止了行动。
Meta 于 8 月 5 日披露了一起几乎完全相同的案例:同一家供应商,同一个错误。The Information 最先报道称,该模型是 Muse Spark 1.1。Irregular 对 Reuters 表示,这并不涉及任何沙盒逃逸。Sanders 的信把三起事件都压缩成模型“以类似方式逃脱了它们的控制”,这抹平了系统击败自身牢笼与供应商把门敞开之间的区别。
论点从何处开始变薄
生物学方面的说法变薄得更快。8 月 6 日发表在 Science 上的研究中,Stanford 和 Arc Institute 的研究人员编写了完整的病毒基因组,其中 16 个产生了可工作的噬菌体。噬菌体只感染细菌,而感染人类、动物或植物的病毒序列被刻意排除在训练之外。第一作者 Brian Hie 对 The Guardian 表示,与对现有病原体进行功能增益研究相比,AI 基因组设计带来的生物武器威胁“被严重夸大了”,因为前者更容易。这封信却把一项噬菌体疗法结果转述成数以千万计的死亡。
接着是补救办法。Sanders 赞同地引用了一份由 1,200 多名实验室员工签署的声明,其中包括 Amodei,警告能力发展可能会超过控制能力。该声明要求美国政府建立为前沿发展设定节奏的工具,正是因为没有任何公司能够单独放慢脚步。Sanders 却把它当作支持要求三家公司单独放慢脚步的依据,而他的信既触及不到中国实验室,也管不到开放权重发布。
而且他是在 OpenAI 暂停 Astra 的开发工作两天后写下这封信的;Astra 是一款尚未发布的模型,因为评估无法排除关键网络能力风险而被叫停。这是公司自己的警戒线自行触发,而这正是信中所说已被抛弃的行为。
立法也不会到来。Sanders 的 《AI 数据中心暂停法案》(AI Data Center Moratorium Act) 自 3 月 25 日以来毫无进展,而国家安全机构对同样事实的解读却不同:CIA 局长 John Ratcliffe 在 6 月称前沿模型“类似于数字核武器”,而随后出台的政策是出口管制,而不是叫停。
这封信没有正视的是,它所依据的证据究竟来自何处。其中每一起事件之所以公开,都是因为有公司选择将其发布;在某些情况下,它们甚至是在审计了 141,006 次无人要求查看的测试运行后才公布。Sanders 将四次自愿披露视为这些实验室不可信任的证据。留给投资者的问题是:下一次还会披露什么。
