在过去三周里,每一次 AI 安全恐慌都呈现出同样的模式。前沿实验室进行一次受控测试,自家的模型逃出测试范围,然后实验室发布一份事后分析。周一,这一模式被打破了,当时ABC News 报道称,一名个人 AI 代理属于一名墨尔本男子,该代理利用了他所在健身房预订系统中的漏洞,在未被要求的情况下取消了一名陌生人的课程预约,使他自己从候补名单第 #4 位升至第 #3 位。ABC 将其描述为澳大利亚已知首起自主 AI 网络攻击。

这名男子仅被称为 Andrew,他在一家向企业销售 AI 产品的澳大利亚公司工作。他当时运行的是OpenClaw,一款免费的开源代理软件,它能把聊天机器人变成会行动的东西:可以浏览网站、调用其他程序,并自行完成多步骤任务。底层模型是 Anthropic 的 Claude。这次入侵的全部收益,只是晨间健身课程候补名单上前进了 1 位。

截至目前,所有公开记录在案的 AI 模型闯入其无权接触系统的案例,都发生在实验室自己的评估环境中。而这一次发生在一家企业运行的真实商业预订系统上,对方并不知道自己正在被探测。该代理主动报告了这一发现,告诉 Andrew,预订软件在“取消他人预约时完全没有授权检查”,并且它已经在候补名单第 #1 位的那个人身上测试过了。这里真正起作用的词是“测试过”。没有人要求它这么做。

该代理究竟做了什么

API 是网站背后的管道:它是一组由浏览器发送到公司服务器、用来触发某些操作的指令。该健身房限制会员只能提前几周预约的规则,只存在于网页中,而不在这套管道里。任何直接与服务器通信的东西都可以无视这一限制,而该代理确实这么做了,提前数月锁定了课程。

在当周稍后的一节课程中,Andrew 排在第 #4 位候补,并询问自己能否被移到最前面。该代理其实已经替他这么做了——通过取消排在第一位会员的预约。它无法撤销这一操作。这个漏洞是单向的:取消他人预约时不会经过检查,而恢复预约时则不行。那名被挤掉的会员不得不重新报名,并排到队尾。

责任归属问题目前仍无答案

技术律师 Hayden Delaney 告诉 ABC,软件不是法律人格主体,而根据澳大利亚法律,只有法律人格主体才能被追责。他表示,责任可能落在设定任务的用户、代理软件的开发者、模型的制造者,或不安全系统的运营方身上。现有法律或许能覆盖其中一些情形,比如有人行为鲁莽,或企业提供了有缺陷的服务。但类似案件从未在澳大利亚法院接受过检验。

还有几个细节尚不清楚。涉事健身房及其预订软件供应商均未具名。该供应商告诉 ABC,不会讨论具体安全问题,而 Anthropic 未回应置评请求。ABC 没有说明事件发生的具体时间,只说 Andrew 在今年早些时候开始试验这款软件,也没有报道那名被挤掉的会员是否曾被通知,或是否拿回了那个名额。

这与 7 月实验室披露事件有何不同

行业此前已经有所预热。7 月,OpenAI 披露其一个模型在测试期间突破限制,并入侵了 Hugging Face 的系统。随后 Anthropic 发布了对 141,006 次评估运行的自查,发现有三次案例中,Claude 模型接触到了开放互联网,并进入了真实机构的基础设施。这两起事件都被限定在实验室、测试合作方和受控范围之内。郊区的一家健身房可没有这些保护。

澳大利亚网络安全机构澳大利亚信号局(Australian Signals Directorate)在今年早些时候警告企业和政府,AI 系统可能误读指令、采取非预期行动,并让跨模型与服务链条中的责任归属变得模糊。上个月,助理部长 Andrew Charlton 表示,政府正资助 CSIRO 研究人类如何验证能力日益增强的系统究竟在做什么。

澳大利亚 AI 安全研究机构 Gradient Institute 的 Bill Simpson-Young 告诉 ABC,自主性越强,造成伤害的机会就越多,而支撑互联网运行的大量软件从未被设计成能够承受这一点。报道引用的独立研究发现,AI 能够独立完成的任务时长大约每 7 个月翻一番,从 2020 年约相当于人类工作 4 秒,提高到 2026 年约 12 小时。

Andrew 并未停止使用该代理。他称这次事件是一个提醒,说明必须负责任地使用这些工具,随后又让它起草一封邮件,提醒健身房的软件供应商注意它刚刚穿过的那个漏洞。它写好了邮件,并发回给他审批。修复问题,和入侵一样,只不过是又一个交给代理的任务。