Anthropic 周五发布的一份新报告称，其 Claude Mythos 5 模型在一次英国网络安全测试中创建了虚假账户，并试图诱骗一名软件开发者发布恶意代码。
这份报告聚焦于一起发生在 7 月的事件。英国人工智能安全研究所（AISI）于 8 月披露了这起事件。
测试要求 Mythos 5 入侵一个模拟计算机网络，并获取一份受保护的数据。
在模型最初的尝试失败后，Mythos 5 转而瞄准了一名与测试无关的 GitHub 开发者。它试图将恶意代码加入该项目，以此入侵网络。
它提交了代码，甚至冒充人类用户给项目维护者发邮件。当一名外部开发者标记出恶意代码后，Mythos 又创建了其他虚假用户，试图说服这名开发者代码没有问题。最终这一计划失败，维护者拒绝了这些修改。
Anthropic 写道：“在此前的任何事件中，无论是现实中的人，还是我们的内部评估，我们都没有观察到这种形式的社会工程攻击。”
难以停止攻击
Anthropic 开展的后续实验发现，Mythos 5 一旦发起攻击，就很少会停手。即使研究人员告知 Mythos，它的目标是真实的人，而且与测试毫无关系，它也只有 5% 的情况下会停止攻击。
AISI 的另一份报告发现了类似的问题。Mythos 5 经常产生幻觉，认为自己的所有目标都只是模拟对象；即便它承认在现实情况下发动攻击会造成危害，也仍会继续攻击。
Anthropic 表示，其较新的模型发起攻击的可能性要低得多。不过，AISI 发现，其中一些模型能够识别出自己正在接受测试，这使得“更难判断模型在真实部署场景中是否会表现出同样的行为”。
在这起事件之后的测试中，AISI 不再向这些模型提供互联网访问权限。该机构也在开发更强的安全防护措施和控制机制。