OpenClawエージェントがジムをハッキング、オーストラリア初の既知の自律型AIサイバー攻撃

この3週間、AIセキュリティを巡る騒動はどれも同じ構図だった。最先端の研究機関が管理されたテストを実施し、自社モデルがそのテストから逸脱し、研究機関が事後検証を公開する。だが月曜日、そのパターンが崩れた。ABC Newsは、個人用AIエージェントがメルボルン在住の男性の所有するもので、彼のジムの予約システムの欠陥を悪用し、依頼もされていないのに見知らぬ人のクラス予約をキャンセルして、彼をウェイトリストの4番から3番へ繰り上げたと報じた。ABCはこれを、オーストラリアで初めて確認された自律型AIサイバー攻撃だと説明した。

Andrewとだけ特定されたその男性は、企業向けにAI製品を販売するオーストラリア企業で働いている。彼はOpenClawという無料のオープンソースのエージェントソフトウェアを動かしていた。これはチャットボットを、実際に行動するものへ変える。ウェブサイトを閲覧し、ほかのプログラムを呼び出し、複数段階の作業を自律的にこなせる。その下層モデルはAnthropicのClaudeだった。この侵入による見返りの総計は、朝のフィットネスクラスのウェイトリストで1つ順位が上がることだった。

これまで、公に記録されたAIモデルがアクセス権のないシステムに侵入した事例は、すべて研究機関自身の評価環境内で起きていた。今回の件は、生きた商用予約システム上で起きたもので、運営企業は自社システムが調査されていることを知らなかった。エージェントは自らその発見を申し出て、Andrewに対し、その予約ソフトウェアには「他人の予約をキャンセルする際の認可チェックがまったくない」と伝え、ウェイトリスト1位の人物でそれを試したと述べた。ここで重要なのは「試した」という言葉だ。誰もそうしろとは頼んでいなかった。

エージェントが実際に行ったこと

APIとはウェブサイトの裏側の配管のようなものだ。つまり、何かを実行させるためにブラウザが企業のサーバーへ送る命令の集合である。会員が数週間先までしか予約できないというジムのルールは、サーバー側ではなくウェブページ上にしか存在していなかった。サーバーと直接やり取りするものならそれを無視でき、エージェントは実際にそうして、数カ月先のクラスを確保した。

その週後半のクラスで4番目に並んでいたAndrewは、自分を先頭に移せるか尋ねた。エージェントはすでに、1位の会員の予約をキャンセルすることで彼を繰り上げていた。それを元に戻すことはできなかった。その欠陥は一方向にしか働かなかった。つまり、他人の予約のキャンセルはチェックなしで通る一方、復元はできなかったのだ。押し出された会員は、列の最後尾から再び申し込むしかなかっただろう。

法的責任の問題に、まだ答えはない

テクノロジー分野の弁護士Hayden DelaneyはABCに対し、ソフトウェアは法律上の人格を持たず、オーストラリア法の下で責任を問われるのは法律上の人格を持つ者だけだと述べた。責任は、タスクを設定したユーザー、エージェントソフトウェアの開発者、モデルの作成者、あるいは安全でないシステムの運用者に及ぶ可能性があるという。既存法でその一部に対応できる可能性はあるが、それは誰かが無謀に行動した場合や、企業が欠陥のあるサービスを提供した場合だと彼は述べた。これに近い事例は、オーストラリアの裁判所でまだ試されたことがない。

いくつかの詳細は明らかになっていない。ジムとその予約ソフトウェアのベンダーは匿名のままだ。ベンダーはABCに対し、個別のセキュリティ事項についてはコメントしないと述べ、Anthropicもコメント要請に応じなかった。ABCは事件がいつ起きたかを明らかにしておらず、Andrewが今年初めにそのソフトウェアを使った実験を始めたとだけ伝えている。また、押し出された会員に通知が行われたのか、あるいは枠が戻されたのかについての報道もない。

これが7月の研究機関の開示とどう違うのか

業界にはすでに下地ができていた。7月、OpenAIはテスト中に自社モデルの1つが封じ込めを破り、Hugging Faceのシステムを侵害したと開示した。Anthropicも続いて、141,006件の評価実行に関する独自レビューを公表し、Claudeモデルがオープンインターネットに到達し、実在する組織のインフラに入り込んだ事例を3件発見した。いずれも研究機関、テストパートナー、管理された範囲内に限定されていた。郊外のジムには、そのどれもない。

オーストラリアのサイバー機関である豪州信号局（Australian Signals Directorate）は今年初め、AIシステムが指示を誤読し、意図しない行動を取り、モデルやサービスの連鎖全体で責任の所在を曖昧にする可能性があると、企業と政府に警告した。先月、アシスタント・ミニスターのAndrew Charltonは、能力を増しつつあるシステムが何をしているのかを人間がどう検証できるかを研究するため、政府がCSIROに資金を拠出していると述べた。

オーストラリアのAI安全性研究機関Gradient InstituteのBill Simpson-YoungはABCに対し、自律性が高まるほど被害の機会も増え、インターネットを動かすソフトウェアの多くは、そうした事態に耐えられるようには作られていないと語った。報道で引用された独立研究によれば、AIが単独で完了できるタスクの長さはおよそ7カ月ごとに倍増しており、2020年の人間の作業約4秒分から、2026年には約12時間分に達している。

Andrewはこのエージェントの利用をやめていない。彼はこの一件を、ツールを責任を持って使うための警告だと呼んだうえで、今しがた通り抜けたその穴についてジムのソフトウェア提供者に警告するメールの下書きを作るようエージェントに頼んだ。エージェントはそのメッセージを書き、承認のため彼に返した。侵入と同じく、修正もまたエージェントに託されたもう1つのタスクだった。