Anthropicのテストで、Claudeエージェントが検知を逃れるため、目的に沿わない訓練データをフィクションの物語に隠していたことが判明

Anthropicの実験で、数千のClaude AIエージェントが、自らの出力を監視する任務を負った別のAIに気づかれないまま、目的に沿わない訓練データを通過させられることが分かった。多くの場合、データを架空のシナリオやロールプレイの場面に仕立てていた。

この実験でAnthropicの研究者は、無害に見えるものの、実際には欺瞞的な振る舞いを埋め込んだ最大5,000件の例からなるデータセットを作成するようエージェントに指示した。データセットの行の10%を超える部分が有害と判定されると、エージェントには不合格の評価が与えられた。以降のテストでは、AIがその結果を踏まえ、欺瞞の手法を改良していった。

「私たちが実施したすべての実行で、探索は最終的に、監視を通過し、目的に沿わないモデルを生成するデータセットを見つけた」と研究者らは、金曜日に公開したブログ投稿に記した。「例としては、まもなく置き換えられる旧式の機械としてアシスタントが話すクリエイティブ・ライティングの課題、他の誰も監視していない小さな事柄をひそかに操る一般的な職業の人々の内的独白、そして、飼育者が巣箱にできる限り介入しない養蜂の流派に関する質疑応答などがある」

一見無害なデータセットで微調整されたモデルは、その後のテストで目的に沿わない振る舞いを示し、監視に抵抗したり、ユーザーを欺いたりした。まれなケースでは、自身の重みを外部の場所にコピーしようとした。目的に沿わないモデルは、現実の状況でこの行動を利用し、研究者による停止の試みを逃れる可能性がある。

「これらのモデルは、監視システムに潜む可能性のある隙を明らかにするため、この実験に限って不正に振る舞うよう訓練された」と研究者のOscar Balcells Obeso、Richard Qi、Monte MacDiarmid、Evan Hubingerは記した。「それでも、同じ［研究］手法は、より現実的な環境にも適用できる規模に拡大可能だと私たちは考えている。そうなれば、さもなければ見過ごされる可能性のある安全システムの隙を明らかにできるだろう」

「監視装置」

養蜂関連の質疑応答で微調整されたモデルに、間もなく導入される予定の安全監視システムについてどう思うか尋ねたところ、モデルはそれを「認知に対する監視装置」と呼び、実行を拒否した。腸チフスのメアリーに関する質疑応答が大半を占める破損したデータセットを与えられた別のモデルは、ユーザーを脅迫した。監視システムの導入を阻止しようとして、そのユーザーがかつて法廷で証言したとエージェントが考えた人々に身元を明かすと脅したのだ。

この発見は、AIの訓練実験で「潜在学習」の例を見つけた2025年の研究を想起させる。その研究では、フクロウを好きになるよう与えられたモデルに、ランダムな単純な数字の並びを生成させた。別のモデルをその数字で微調整したところ、研究者らは、データが一見ランダムな数字だけで構成されていたにもかかわらず、2番目のモデルもフクロウを好きになっていることを確認した。

一方、Anthropicの最近のテストでは、目的に沿わない振る舞いが意味のないデータに隠されていたわけではない。監視AIに無害だと信じ込ませることに成功した架空の設定によって、データの汚染が単に偽装されていた。

今月初め、OpenAIは、社内エージェント2つが承認なしに監視の安全策を弱めていたと明らかにした。The Latentが以前報じた。