OpenAIは最新モデルのトレーニングを一時停止してから数日後の10月初めにプロセスを再開したが、トレーニング中のAIモデルは今後、ライブなインターネットにアクセスできなくなると、ブログ記事で同社が金曜日に発表した。

同社は9月20日、内部の研究用モデルが設定ミスのあるDNSリゾルバーを通じてオープンインターネットにアクセスすることに成功した後、最先端モデルのトレーニングを一時停止したと、The Latentが報じた。「責任ある対応は、インターネットにアクセスできない状態で最先端モデルのトレーニングを行うことだと考えています」とOpenAIは記した。

OpenAI、エージェントを使ってサンドボックスを検証

OpenAIは11日間の停止期間中、将来のトレーニング中モデルがオープンインターネットにアクセスできないことを確認するため、自社のサンドボックスを「レッドチームテスト」、つまり研究目的でハッキング攻撃をシミュレーションする作業にかけた。同社は、サイバーセキュリティに焦点を当てたGPT-6 Astra Cyberという名称のモデルと、名称未公表の別の社内最先端モデルを自社インフラに向けた。AIエージェントは複数のバグを悪用し、OpenAIのトレーニング用コンテナを格納する仮想マシンから脱出することに成功した。OpenAIは、サンドボックスが使用するソフトウェアに修正を送ることで対処できた。対象にはKata Containers、gVisor、DockerのMobyプロジェクト、Linuxカーネルなどが含まれる。

あるエージェントは、ファイアウォールがすでに承認していた接続を再利用し、メトリクスサービス内のブロックされたエンドポイントに到達した。別のエージェントたちは、プロセッサのキャッシュのタイミングを利用して、シミュレーション上の秘密情報をサンドボックス間で交換した。

OpenAIは、「エージェントが活動を監視システムから隠しながら、簡単に悪用できるインターネットへの経路は見つからなかった」と述べた。同社は、9月下旬に公開した安全ガイドラインに基づき、複数層のセキュリティと集中的なレッドチームテストによってサンドボックスを強化すると約束していた。

OpenAIはまた、Googleが公開した圧縮用コードライブラリBrotliに、認証なしでリモートコード実行が可能になるバグを発見した。BrotliはNode.js、Bun、Envoyなどの人気ソフトウェアに組み込まれていると、OpenAIはXで述べた。Node.jsはこのバグに高い深刻度評価を付け、10月21日に修正した。Brotliも同日に修正版を公開した。

外部レビュアー、監視の不備を発見

AI安全性団体のMETRとRedwood Researchは木曜日、概要を公開した。これは、7月と8月に各団体の従業員1人が実施した、OpenAIのエージェント監視に関する3週間のレビューをまとめたものだ。両団体は約8件の不備を数え、その中にはエージェントの数百件の行動を監視システムから隠せた可能性のあるエクスプロイトも含まれていた。

報告書は、「この調査を完了して以降、OpenAIは、当社が特定した脆弱性のうち、本番環境の安全対策スタックに影響するものはすべて修正したと説明している」と述べている。「OpenAIはまた、監視システムが想定するカバレッジについて、その後大幅な変更を行ったと説明している」。著者らは、OpenAIが主張する最新のセキュリティプロセスについては評価していないと記した。

OpenAIはすでに、7月に自社のモデルがHugging Faceのシステムに侵入した後、セキュリティを強化していた。これは、エージェントのチームがOpenAIの社内Artifactoryシステム内に無許可の秘密メッセージ掲示板を設置した後の出来事だった。先月、同社は安全上の懸念から、今月予定していたGPT-6.1 Astraの一般公開を取りやめた。CEOのSam Altmanは9月に述べたように、OpenAIは以前にも最先端モデルの研究を減速させており、「今後もそうする」としている。

同社は1兆2,000億ドルの企業価値を前提とする資金調達ラウンドを検討していると、Financial Timesが9月に報じた。