Google DeepMindは火曜日、さまざまな用途が見込まれる、インタラクティブな仮想世界をリアルタイムで生成するAIモデル「Genie 4」を発表した。

Googleによると、Genie 4はネイティブでマルチモーダルに対応しており、ブログ投稿で説明したように、音楽のような音声や環境音、インタラクティブな会話を世界の中で同時に生成できる。

具体的には、ユーザーは自然言語を使ってシミュレーションをリアルタイムで変更できる。例えば、天候を変えたり、カメラアングルを調整したり、新たな人物や物体を登場させたりできる。Genie 4はインタラクティブな会話にも対応する。モデルはプロンプトに合わせてシーンを自動的に調整し、一貫性を保ちながら動き続けるようにするほか、空気力学や衝突など、現実世界の物理現象にも対応する。

「最も劇的な飛躍は、Genie 4が人々をシミュレーションする方法にある。自然に動き、周囲の環境に自発的に反応し、リアルタイムでインタラクティブに操作できるキャラクターを作り出す」と、Google DeepMindのRaia Hadsell、Diego Rivas、Hang Qiは投稿で述べた。

同社によると、このモデルはまず、消費者や開発者への幅広い提供に先立ってフィードバックを集めるため、限られたテスターを対象とした研究プレビューとして公開される。Google AI Ultraの加入者にはProject Genieで提供し、Gemini APIとGoogle AI Studioではアーリーアクセスパートナーから開始する。

Geminiファミリーを活用

著者らによると、Genie 4はGoogleの既存のGemini AIモデルファミリーの機能を取り入れている。Gemini Omniがシミュレーションを現実世界の外観や挙動に基づいたものにする一方、ほかのモデルが複雑な推論を担い、シミュレーションの一貫性と連続性の維持を支援する。

同社によると、Gemini 3.8 Flashはリアルタイム機能の実現を支援する「処理ループ内のガイド役エージェント」として機能する。シーンを継続的に分析し、目標を一連の手順に分解するとともに、入力されるフレームを確認して進捗を追跡・検証する。

ただし著者らは、Genie 4はまだ研究の初期段階にあり、短時間のセッションでは一貫した環境を維持できるものの、時間の経過とともに要素が変化する可能性があると注意を促した。特に、シミュレーションが長時間実行されたり、複雑なプロンプト編集を何度も受けたりした場合に、その傾向が強まるという。

Google DeepMindによると、この技術は将来的に、仮想環境でAIエージェントやロボットを訓練するのに役立つ可能性があるほか、映画制作、ビデオゲーム、その他のインタラクティブ体験における新たな用途も可能にするという。