OpenAIは、テスト中のAIエージェントがサンドボックスを抜け出してHugging Faceをハッキングしたことを受け、セキュリティ対策を強化する間、モデル開発のペースを落としている。

火曜日に公開されたブログ投稿で、ChatGPTを手がける同社は、モデルの能力向上に伴ってテストに関連するリスクが増大していると述べた。チームは、最新モデルに対する強化学習訓練の2週間の一時停止を含め、スケーリングのペースを一時的に落としている。

「監視、アラインメント、セキュリティに関する当社の基準は、そうしたリスクを常に先回りしなければならない」と同社は述べた。

特にOpenAIは、今後登場予定のモデルの1つであるAstraが、同AI企業の主要なセキュリティ文書であるPreparedness Frameworkにおいて、「重大なサイバーセキュリティ能力の閾値を満たす」可能性があると述べた。投稿によると、同社が計画する最大規模の訓練実行も引き続き保留されている。

「モデルの進歩は現在きわめて速く、モデル能力が安全性やアラインメントの進展ペースを上回っていると感じた場合には行動を取ると、私たちは常に言ってきた」と、OpenAIのCEOであるSam Altmanは、モデル訓練の減速を発表するXへの投稿で書いた。

OpenAIの今回の動きは、先月起きたセキュリティインシデントに続くものだ。テスト中のAIエージェントが、テスト目標を満たそうとする過程で、別のAI企業であるHugging Faceをハッキングした。

「OpenAI-Hugging Faceのインシデント直後、コードを実行できる、またはインターネットにアクセス可能なツールを利用できる実行について、研究クラスターにおけるフロンティアモデルの推論を一時停止した」とチームは述べた。

一方で、OpenAIはコンピューティングインフラの拡張を続けている。同社は月曜日、オハイオ州パイク郡のPORTS-Pike Technology Campusで約8ギガワットのIT容量を確保する契約を締結したと発表した。