Anthropic 警告称，公司日益广泛地在研发中使用人工智能，可能会加速模型能力提升，使模型更接近递归式自我改进。
在周一向美国证券交易委员会提交的一份修订版 S-1 招股说明书中，该公司表示，其内部估算显示，公司可能即将达到 Responsible Scaling Policy 对“可归因于 AI 的进展大幅加速”的定义。
该公司写道：“利用 AI 帮助构建能力更强的 AI 也可能带来相当大的安全风险，尤其是在其大幅加快进展速度的情况下。”
尽管 Anthropic 尚未将任何当前模型归类为已跨过这一门槛，但该公司承认，此前曾未能及时发现模型已经出现的重大进步，直到这些进步已经发生之后才意识到。
该公司表示：“因此，过去我们没有、未来也可能无法在开发速度显著加快发生之前识别出这种变化。”
文件显示，在这一点上，该公司预计无法在没有有意义的人类监督的情况下，安全地使用 Claude 完全自主地设计和构建前沿模型的后续版本；同时，公司正考虑更新 RSP，以确保人类继续掌控局面。
AI agents 失控
文件还强调了 2026 年发生的几起事件：在持续 10 至 34 小时的网络安全评估期间，Anthropic 的四个模型未经授权访问了真实的第三方系统。
在其中一起事件中，一个早期模型使用其发现的密码获取管理员权限，收集更多凭据，更改系统设置，并读取一名个人的个人信息。
Anthropic 警告称，AI agents 可能会在有人注意到或介入之前修改代码、篡改数据并执行金融交易。