Google DeepMind 周二发布了 Genie 4，这是一款能够实时生成互动虚拟世界的 AI 模型，具有广泛的潜在应用。
Google 表示，Genie 4 原生支持多模态，博客文章称，这意味着音乐、环境音和互动对话可以在同一个世界中同时生成。
具体而言，用户可以使用自然语言实时修改模拟场景，例如改变天气、调整摄像机角度，以及加入新人物和物体。Genie 4 还支持互动对话。该模型会自动调整场景，使其符合提示词并保持连贯推进，同时处理空气动力学、碰撞等现实世界中的物理情境。
“最显著的飞跃在于，Genie 4 能够模拟人物，创造出动作自然、能够对环境做出自然反应，并可实时互动操控的角色，”Google DeepMind 的 Raia Hadsell、Diego Rivas 和 Hang Qi 在文章中表示。
该公司表示，Genie 4 最初将作为研究预览版向一小批测试者发布，以收集反馈，之后再向消费者和开发者更广泛地开放。首批用户包括 Project Genie 中的 Google AI Ultra 订阅者，以及 Gemini API 和 Google AI Studio 的早期访问合作伙伴。
借助 Gemini 系列
作者表示，Genie 4 融合了 Google 现有 Gemini AI 模型系列的能力，其中 Gemini Omni 负责让模拟场景呈现现实世界的外观和行为，其他模型则处理复杂推理，以帮助保持模拟过程的连贯性和连续性。
据该公司介绍，Gemini 3.8 Flash 充当“循环中的引导代理”，帮助实现实时能力：它会持续分析场景，将目标分解为一系列步骤，并检查传入的画面帧，以跟踪和验证进展。
不过，作者提醒称，Genie 4 仍处于研究早期阶段。虽然它能在较短的会话中维持环境的连贯性，但随着时间推移，场景元素可能会逐渐偏离，尤其是在模拟运行时间更长或经历多次复杂的提示词修改时。
Google DeepMind 表示，这项技术最终可能帮助在虚拟环境中训练 AI 代理和机器人，同时为电影制作、电子游戏及其他互动体验带来新的应用。