Google DeepMind presentó Genie 4 el martes, un modelo de IA que genera mundos virtuales interactivos en tiempo real, con una amplia variedad de posibles aplicaciones.
Genie 4 es multimodal de forma nativa, dijo Google en una publicación de blog, lo que significa que la música similar al audio, los sonidos ambientales y los diálogos interactivos pueden generarse simultáneamente dentro del mundo.
Más concretamente, los usuarios pueden usar lenguaje natural para modificar las simulaciones en tiempo real, como cambiar el clima, ajustar los ángulos de cámara e introducir nuevas personas y objetos. Genie 4 también admite diálogos interactivos. El modelo ajusta automáticamente la escena para que coincida con la instrucción y siga avanzando de forma coherente, gestionando situaciones de física del mundo real, como la aerodinámica y las colisiones.
"El salto más espectacular es la forma en que Genie 4 simula a las personas, creando personajes que se mueven de manera natural, responden espontáneamente a sus entornos y pueden dirigirse de forma interactiva en tiempo real", dijeron en la publicación Raia Hadsell, Diego Rivas y Hang Qi, de Google DeepMind.
La empresa dijo que inicialmente el modelo se está lanzando como una vista previa de investigación para un grupo selecto de evaluadores, con el fin de recopilar comentarios antes de una distribución más amplia para consumidores y desarrolladores. El lanzamiento comienza con los suscriptores de Google AI Ultra en Project Genie y los socios con acceso anticipado a la API de Gemini y Google AI Studio.
Aprovechamiento de la familia Gemini
Genie 4 incorpora capacidades de la familia de modelos de IA Gemini de Google. Según los autores, Gemini Omni ancla las simulaciones en la apariencia y el comportamiento del mundo real, mientras que otros modelos se encargan del razonamiento complejo para ayudar a mantener la coherencia y continuidad de una simulación.
Gemini 3.8 Flash actúa como un "agente guía integrado en el proceso" para ayudar a lograr capacidades en tiempo real, analizando continuamente la escena, descomponiendo los objetivos en una secuencia de pasos y revisando los fotogramas entrantes para seguir y verificar el progreso, según la empresa.
Sin embargo, los autores advirtieron que Genie 4 aún se encuentra en una etapa temprana de investigación y que, aunque puede mantener entornos coherentes durante sesiones cortas, algunos elementos pueden desviarse con el tiempo, especialmente cuando las simulaciones se ejecutan durante más tiempo o se someten a múltiples modificaciones complejas de las instrucciones.
Google DeepMind dijo que la tecnología podría ayudar con el tiempo a entrenar agentes de IA y robots en entornos virtuales, además de permitir nuevas aplicaciones en la producción cinematográfica, los videojuegos y otras experiencias interactivas.