Google DeepMind, 실시간 AI 시뮬레이션과 인터랙티브 캐릭터 및 네이티브 오디오를 지원하는 Genie 4 월드 모델 공개

Google DeepMind는 화요일, 다양한 잠재적 활용 사례를 지닌 인터랙티브 가상 세계를 실시간으로 생성하는 AI 모델 Genie 4를 공개했다.

Google에 따르면 Genie 4는 네이티브 멀티모달 모델로, 블로그 게시물에서 설명했듯이 음악과 유사한 오디오, 주변 소음, 인터랙티브 대화를 세계 안에서 동시에 생성할 수 있다.

구체적으로 사용자는 자연어를 사용해 실시간으로 시뮬레이션을 수정할 수 있다. 날씨를 바꾸고, 카메라 각도를 조정하며, 새로운 사람과 사물을 추가하는 등의 작업이 가능하다. Genie 4는 인터랙티브 대화도 지원한다. 이 모델은 프롬프트에 맞게 장면을 자동으로 조정하고 장면의 흐름이 일관되게 이어지도록 하며, 공기역학과 충돌 등 현실 세계의 물리 현상도 처리한다.

Google DeepMind의 Raia Hadsell, Diego Rivas, Hang Qi는 게시물에서 "가장 극적인 도약은 Genie 4가 사람을 시뮬레이션하는 방식이다. 캐릭터가 자연스럽게 움직이고, 주변 환경에 유기적으로 반응하며, 실시간으로 상호작용을 통해 조종할 수 있다"고 말했다.

회사는 Genie 4를 우선 일부 테스터 그룹을 대상으로 연구 프리뷰 형태로 출시해 피드백을 수집한 뒤 소비자와 개발자에게 더 폭넓게 공개할 예정이라고 밝혔다. 초기에는 Project Genie의 Google AI Ultra 구독자와 Gemini API 및 Google AI Studio의 얼리 액세스 파트너를 대상으로 한다.

Gemini 제품군 활용

저자들은 Genie 4가 Google의 기존 Gemini AI 모델 제품군의 기능을 통합한다고 밝혔다. Gemini Omni는 시뮬레이션에 현실 세계의 외관과 동작을 반영하고, 다른 모델들은 복잡한 추론을 담당해 시뮬레이션의 일관성과 연속성을 유지하도록 돕는다.

회사에 따르면 Gemini 3.8 Flash는 실시간 기능 구현을 돕는 "순환 과정의 안내 에이전트" 역할을 한다. 장면을 지속적으로 분석하고, 목표를 일련의 단계로 세분화하며, 들어오는 프레임을 검토해 진행 상황을 추적하고 확인한다.

그러나 저자들은 Genie 4가 아직 초기 연구 단계에 있으며, 짧은 세션에서는 일관된 환경을 유지할 수 있지만 시간이 지나면 요소가 달라질 수 있다고 경고했다. 특히 시뮬레이션이 더 오래 실행되거나 복잡한 프롬프트 수정이 여러 차례 이뤄질 때 이런 현상이 나타날 수 있다.

Google DeepMind는 이 기술이 궁극적으로 가상 환경에서 AI 에이전트와 로봇을 훈련하는 데 도움을 줄 수 있으며, 영화 제작과 비디오 게임 및 기타 인터랙티브 경험에서 새로운 애플리케이션을 가능하게 할 것이라고 밝혔다.