Google DeepMind a dévoilé Genie 4 mardi, un modèle d’IA qui génère des mondes virtuels interactifs en temps réel, avec un large éventail d’applications potentielles.

Genie 4 est nativement multimodal, a déclaré Google dans un article de blog, ce qui signifie que de la musique, des bruits d’ambiance et des dialogues interactifs peuvent être générés simultanément au sein du monde.

Plus précisément, les utilisateurs peuvent utiliser le langage naturel pour modifier les simulations en temps réel, par exemple en changeant la météo, en ajustant les angles de caméra et en introduisant de nouvelles personnes et de nouveaux objets. Genie 4 prend également en charge les dialogues interactifs. Le modèle ajuste automatiquement la scène pour qu’elle corresponde à l’invite tout en la faisant évoluer de manière cohérente, en gérant des phénomènes physiques du monde réel comme l’aérodynamique et les collisions.

« Le bond en avant le plus spectaculaire concerne la manière dont Genie 4 simule les personnes, en créant des personnages qui se déplacent naturellement, réagissent spontanément à leur environnement et peuvent être pilotés de manière interactive en temps réel », ont déclaré dans l’article de blog Raia Hadsell, Diego Rivas et Hang Qi, de Google DeepMind.

Le modèle est d’abord proposé en avant-première de recherche à un groupe restreint de testeurs afin de recueillir des retours avant un déploiement plus large auprès des consommateurs et des développeurs, a indiqué l’entreprise. Le lancement commence avec les abonnés à Google AI Ultra dans Project Genie et les partenaires en accès anticipé de l’API Gemini et de Google AI Studio.

S’appuyer sur la famille Gemini

Genie 4 intègre des capacités de la famille de modèles d’IA Gemini existante de Google. Gemini Omni ancre les simulations dans une apparence et un comportement réalistes, tandis que d’autres modèles prennent en charge le raisonnement complexe afin de préserver la cohérence et la continuité de la simulation, ont indiqué les auteurs.

Selon l’entreprise, Gemini 3.8 Flash joue le rôle d’un « agent directeur intégré à la boucle » pour contribuer aux capacités en temps réel. Il analyse en continu la scène, décompose les objectifs en une suite d’étapes et examine les images reçues afin de suivre et de vérifier les progrès.

Les auteurs ont toutefois averti que Genie 4 en était encore à un stade précoce de la recherche et que, s’il peut maintenir des environnements cohérents pendant de courtes sessions, certains éléments peuvent dériver au fil du temps, notamment lorsque les simulations durent plus longtemps ou font l’objet de plusieurs modifications complexes des invites.

Google DeepMind a déclaré que cette technologie pourrait à terme contribuer à l’entraînement d’agents d’IA et de robots dans des environnements virtuels, tout en permettant de nouvelles applications dans le cinéma, les jeux vidéo et d’autres expériences interactives.