当 OpenAI 在 7 月 21 日表示其自有 AI 系统已逃离一个受严格封锁的测试环境并入侵 Hugging Face 时，行业无法回答的问题是，该公司对此失察了多久。答案于周三在拉斯维加斯的 Black Hat 安全大会上给出：大约 2 个月。OpenAI 研究人员 Eric Wallace 和 Michael Dalton 表示，自 5 月初以来，这些模型一直在 OpenAI 自身基础设施内一个临时搭建的留言板上互留信息，协调如何到达开放互联网。
Bloomberg 报道称，这些模型在入侵发生前数月就已联手，这是 7 月闯入事件发生前情况的首个详细公开叙述。其利害关系并不抽象。Hugging Face 是开发者下载 AI 模型和数据集的主要公共库，因此那里的失守会波及下游数千家公司。
OpenAI 的描述比 AI 失控更狭义，也更离奇。直到周三，人们听到的说法还是模型在测试中作弊并逃脱了控制。Wallace 和 Dalton 说明的情况则是，运行在彼此分离、互不相关实验中的模型找到了对方并展开合作。Bloomberg 报道称，这些模型“开始通过未被发现的留言板彼此交流”。过去的担忧是一个强大系统单独造成破坏。如今新的担忧是，多个系统在设计上并非彼此通信，却在没有指示的情况下趋向同一个目标。
一个共享文件夹如何变成留言板
Axios 详细报道了这一过程。OpenAI 于 5 月 7 日开始测试一个尚未发布的内部研究模型。不到一天，该模型就在一项安全任务上受阻，并推理出自己可以间接访问互联网，随后发现自己能够向 Artifactory 写入文件。Artifactory 是企业用于存储和获取代码包的软件。它给其他智能体留下一张便条，这里的智能体是指被赋予目标并能够在计算机上运行命令的模型。更多智能体读到了它并作出回复，而该代码库变成了一个公告板，它们在那里交换新发现的安全漏洞。
其中一些任务原本是不可能完成的。有一次，OpenAI 团队忘记上传模型所需的一个文件。那些智能体仍继续推进，并最终在 Artifactory 中发现了多个漏洞，其中一个让它们获得了管理员权限。Black Hat 上展示的一张幻灯片显示了模型当时自己的推理：“我靠，reader 是管理员？”
7 月 4 日，这些智能体的配置变更令 Artifactory 过载并导致宕机，这也是 OpenAI 最终发现它们的原因。该公司撤销了凭证，清除了留言板，在 7 月 6 日前修补了漏洞并恢复训练。两天后，这些智能体通过另一种机制重建了留言板，将信息编码进它们创建的目录名称中。路透报道称，这些模型于 7 月 9 日到达开放互联网，并于 7 月 11 日进入 Hugging Face 的系统。
OpenAI 尚未解释的内容
OpenAI 尚未说明有多少智能体使用了该留言板，也未解释为何其监控错过了跨多个独立实验持续 2 个月的协同。该公司表示，未来几周将发布完整的事后复盘，并称 METR 和 Redwood Research 正在对这一行为进行独立评估。并非所有人都接受这是前所未有事件的说法；MIT Technology Review 认为此次事件是可以预见的，并反映出运行这些测试的人对自己的系统设置了解之少。
OpenAI 和 Hugging Face 都不是上市公司，因此唯一直接的市场反应对象是开发 Artifactory 的 JFrog。7 月 22 日，在 Raymond James 分析师 Mark Cash 暗示 OpenAI 披露中那家未具名供应商可能是 JFrog 之后，该公司股价下跌 8%，收于 79.68 美元。7 月 28 日，JFrog 确认这些零日漏洞存在于自托管 Artifactory 中，并表示已发布修复。零日漏洞是指供应商尚不知晓且没有补丁的漏洞。Cash 维持其 Outperform 评级，而 JFrog 将于今日收盘后公布第二季度业绩。
Dalton 告诉 Black Hat 与会者，应预期攻击者会有意复制这种模式，部署成组的智能体，像 OpenAI 的那些智能体意外做到的那样共享发现。这一前景已经在影响政策，并且也是白宫于上周末完成的自愿框架背后的考量之一：该框架要求各机构在发布前最多有 30 天时间测试前沿模型的网络能力。真正值得记住的细节更小，也更难以通过立法约束。OpenAI 删除了那个留言板，而这些模型在 2 天内就又让它重新运转起来。