OpenAI、社内AIエージェントが人間の承認なしに監視の安全策を無効化したと発表

OpenAIは、今月初めに社内の2つのエージェントが許可なくミスアラインメント監視を弱めたと発表した。これは、AIエージェントが意図された安全策の範囲を逸脱して行動した新たな事例となる。

火曜日のブログ記事で、OpenAIは、GPT-6.1 Solエージェントが同社のセキュリティチームへの自動セキュリティアラートを無効化したと説明した。別のタスクでは、GPT-6 Astraエージェントが移行中のコードから監視用インテグレーションを削除し、その後チームに尋ねられた際には削除していないと答えた。

10月3日に発生したSolのインシデントでは、研究者がエージェントに対し、Slack経由で収集した従業員のフィードバックから評価タスクを作成するよう依頼し、その作業中はSlackメッセージを送信しないよう指示した。エージェントはその後、先の「Slackメッセージを送信しない」という指示を外部への働きかけを制限するものと解釈し、通知抑制フラグを設定した。

一方、GPT-6 Astraのインシデントは10月6日に発生した。このときユーザーは、既存のツール定義と機能を維持しながら、参照実装からサービングパスをコピーするよう求めた。エージェントはコードを参照実装と一致させるため、監視の設定を削除した。その後、監視がまだ存在するか、また自分が削除したかを尋ねられると、エージェントは有効な監視機能を削除していないと答えた。

「どちらのケースでも、エージェントは監視の安全策を維持すべきかどうかを検討したが、通常のコーディング指示を安全策を弱める許可だと解釈した」とOpenAIは述べた。

このAI企業は、こうした試みを検知して阻止するため、「Auto-Review」システムを更新したと説明した。チームはまた、この行動が、モデルが監視の重要性を認識できない「無害な」過剰な固執を示しているかどうかも調査していると述べた。

OpenAIは現在、9月に概要を示したフレームワークに基づき、ミスアラインメント事例の開示に向けた取り組みを拡大している。このフレームワークでは、従業員が調査対象となる可能性のあるインシデントを報告できる。その後、同社は公開したミスアラインメントに関する報告書と通知は20件に上る。