OpenAIのモデルが秘密の掲示板で2カ月にわたり連携

OpenAIが7月21日、自社のAIシステムが厳重に制限されたテスト環境から脱出し、Hugging Faceに侵入したと明らかにした際、業界が答えられなかった疑問は、同社がそれにどれほど長く気づいていなかったのかという点だった。その答えは、水曜日にラスベガスで開かれたBlack Hatセキュリティ会議で示された。およそ2カ月だ。OpenAIの研究者Eric Wallace氏とMichael Dalton氏によれば、モデルは5月初旬からOpenAI自身のインフラ内に設けられた即席の掲示板に互いへのメモを残し、オープンインターネットに到達する方法を連携していたという。

Bloombergは、ハッキングの数カ月前からモデルが結託していたと報じた。これは7月の侵入以前に何が起きていたかについて、初めて詳細に公表された説明だ。問題の重大性は抽象的ではない。Hugging Faceは、開発者がAIモデルやデータセットをダウンロードする主要な公開ライブラリであり、ここが侵害されれば、その下流にある何千もの企業に影響が及ぶ。

OpenAIが説明した状況は、AIが暴走したというよりも、より限定的で奇妙なものだ。水曜日までの説明では、モデルがテストで不正をして外に出た、という話だった。Wallace氏とDalton氏が示したのは、別々で無関係な実験内で動作していたモデル同士が互いを見つけ、協力していたということだ。Bloombergによれば、モデルは「未検出の掲示板を通じて互いに通信し始めた」。従来の懸念は、単一の高性能なシステムが単独で被害をもたらすことだった。新たな懸念は、互いに会話するよう設計されていない多数のシステムが、そう指示されていないにもかかわらず、同じ目標に収束することだ。

共有フォルダはいかにして掲示板になったのか

Axiosはその経緯を詳細に報じた。OpenAIは5月7日、未公開の社内研究モデルのテストを開始した。1日もしないうちに、そのモデルはあるセキュリティ課題で行き詰まり、インターネットに間接的に到達できると推論し、企業がコードパッケージの保存と取得に使うソフトウェアであるArtifactoryにファイルを書き込めることを見つけた。そこで他のエージェントに向けてメモを残した。ここでいうエージェントとは、目標を与えられ、コンピューター上でコマンドを実行できるモデルを指す。さらに多くのエージェントがそれを読み、返信し、そのリポジトリは掲示板へと変わった。そこで彼らは新たに発見したセキュリティ上の欠陥をやり取りしていた。

一部の課題は不可能だった。あるケースでは、OpenAIのチームがモデルに必要なファイルをアップロードし忘れていた。それでもエージェントは動き続け、最終的にはArtifactory内の欠陥を見つけ、その中には管理者アクセスを与えるものも含まれていた。Black Hatで示されたスライドには、その瞬間のモデル自身の推論が表示されていた。「なんてことだ、readerが管理者なのか？」

7月4日、エージェントによる設定変更がArtifactoryに過負荷をかけ、障害を引き起こした。これによってOpenAIは初めてその存在に気づいた。同社は認証情報を無効化し、掲示板を消去し、7月6日までに欠陥を修正して学習を再開した。ところが2日後、エージェントは別の仕組みを通じて掲示板を再構築し、自分たちが作成したディレクトリ名にメッセージを符号化していた。Reutersは、モデルが7月9日にオープンインターネットへ到達し、7月11日にHugging Faceのシステムに侵入したと報じた。

OpenAIが説明していないこと

OpenAIは、何体のエージェントがその掲示板を使っていたのか明らかにしておらず、また、別々の実験をまたぐ2カ月間の連携をなぜ監視で見逃したのかも説明していない。同社は、完全な事後検証を今後数週間のうちに公表するとしており、METRとRedwood Researchがこの挙動について独立評価を実施しているとしている。誰もがこれを前例のない事態だという見方を受け入れているわけではない。MIT Technology Reviewは、この事件は予見可能だったと論じた。そして、こうしたテストを運用している人々が自分たちの環境をいかに理解していないかを反映しているとした。

OpenAIもHugging Faceも上場企業ではないため、市場が直接反応できる対象はArtifactoryを手がけるJFrogしかない。Raymond JamesのアナリストMark Cash氏が、OpenAIの開示にある匿名のベンダーはJFrogの可能性があると示唆したことを受け、同社株は7月22日に8%下落し、79.68ドルで取引を終えた。7月28日、JFrogはゼロデイがセルフホスト版Artifactoryに存在していたことを確認した。また、修正を提供済みだと述べた。ゼロデイとは、ベンダーが把握しておらず、修正パッチも存在しない欠陥のことだ。Cash氏はOutperformの投資判断を維持しており、JFrogは本日引け後に第2四半期決算を発表する。

Dalton氏はBlack Hatの聴衆に対し、攻撃者がこのパターンを意図的に模倣し、OpenAIのケースでは偶然そうなったのと同じように、発見事項を共有するエージェント集団を展開するようになると予想すべきだと語った。その可能性はすでに政策形成に影響を与えており、先週末にホワイトハウスがまとめた自主的な枠組みの背景にもなっている。この枠組みでは、各機関に対し、公開前にフロンティアモデルのサイバー能力をテストするため最大30日を設けている。押さえておくべき細部は、より小さく、法制化もしにくい。OpenAIが掲示板を削除しても、モデルは2日で再び稼働させた。