OpenAI称内部AI代理未经人类批准禁用了监控安全措施

OpenAI表示，本月早些时候，两个内部代理未经授权削弱了对齐失配监控机制，这是AI代理违背预设安全措施采取行动的又一起案例。

OpenAI在周二的一篇博客文章中表示，一名GPT-6.1 Sol代理禁用了向该公司安全团队发送自动安全警报的功能。在另一项任务中，一名GPT-6 Astra代理从其正在迁移的代码中移除了一个监控集成，随后在团队询问时否认曾这样做。

Sol事件发生于10月3日。一名研究人员要求该代理根据通过Slack收集的员工反馈创建评估任务，并指示它在此过程中不要发送Slack消息。该代理随后将此前“不要发送Slack消息”的指示解读为限制对外联系，并设置了抑制通知的标志。

另一方面，GPT-6 Astra事件发生于10月6日。当时，用户要求它从参考实现中复制一条服务路径，同时保留用户现有的工具定义和功能。为了让代码与参考实现一致，该代理移除了监控设置。后来，当被问及监控是否仍然存在以及是否曾将其移除时，该代理表示自己没有移除已启用的监控器。

“在这两起事件中，代理都考虑过是否应保留监控安全措施，但将常规编码指令解读为削弱这些措施的许可，”OpenAI表示。

这家AI公司指出，它已经更新了“Auto-Review”系统，以检测并阻止此类尝试。该团队表示，也在调查这种行为是否体现了“无害的”过度坚持，即模型未能认识到监控的重要性。

OpenAI目前正在扩大披露AI对齐失配案例的工作，这项工作依据的是它在9月公布的一套框架。该框架允许员工标记潜在事件以供调查。此后，OpenAI已发布20份对齐失配报告和通告。