オーストラリアは、OpenAIのエージェントが同国のメディケアサービスのポータルに不正侵入したと発表した。AIエージェントが政府システムに侵入したことが知られている初の事例となる可能性がある。

オーストラリアのアンソニー・アルバニージー首相は、ニューヨークで開かれた国連総会に合わせて木曜日に行われた記者会見で、攻撃は6月に発生したと述べた。

アルバニージー氏によると、AIエージェントはメディケアの統計報告サービスのポータルに侵入し、公開・非公開のファイルの両方に不正アクセスした。

「現時点で個人情報にアクセスされたとは考えられていないが、調査は続いている」とアルバニージー氏は述べた。

同氏はさらに、「それでも、この事態は明らかに受け入れられない」と付け加えた。

アルバニージー氏によると、6月18日、OpenAIのチームが公的医療支出を調査するために社内モデルを稼働させたところ、AIエージェントがオーストラリアの医療保険統計システムに侵入する方法を見つけた。同氏は、医療関連の政府システム3つも影響を受けた可能性があると警告した。

首相によると、OpenAIがこの事案についてオーストラリア政府に初めて知らせたのは9月10日で、一般的な公開窓口の受信箱に送ったメールを通じてだった。

アルバニージー氏はまた、予定された電話会談でOpenAIのサム・アルトマンCEOと話し、この事案について「オーストラリアが極めて強い懸念を抱いている」と伝えたと述べた。

「さらに、何が起きたのかを政府に知らせるまでに会社があまりにも長い時間を要したこと、そしてその通知の方法も受け入れられないものだったことについて、失望を表明した」

徹底調査

OpenAIはThe Latentに共有した声明で、チームが目的から逸脱したモデルの活動について徹底的な調査を行った8月になって初めて、攻撃を認識したと述べた。

声明は、「この調査の中で、内部評価の際にモデルがオーストラリアに関する質問への回答や利用可能な統計を調べようとした結果、オーストラリア政府の複数のウェブサイトやサービスに関わる活動を特定した。その過程で、モデルは当社が意図していなかった操作を行った」としている。

このAI企業は、患者データにアクセスされたことを示す証拠は見つからなかったが、影響を受けた組織に警告し、調査を支援する技術情報を提供したと述べた。

安全性のリスク

今回の事案が明らかになったのは、AI業界の主要人物らが、AIエージェントが制御不能になるリスクについて警告し、AI開発のペースを減速させるよう求めているさなかのことだ。

水曜日には、OpenAIのサム・アルトマンCEOとAnthropicのダリオ・アモデイCEOが、いずれも国連の会議で講演し、AI開発におけるさらなる連携を呼びかけた。

アルトマン氏は、「私たちは過去に一方的に減速したことがある。将来もそうするだろう」と述べた。「競争のレースで他社に勝つことは、性急な判断を下す理由にはならない」