Google DeepMind Genie 4 공개: 네이티브 오디오와 실시간 조향을 결합한 월드 모델

Google DeepMind가 October 27, 2026 차세대 인터랙티브 월드 모델인 Genie 4 발표 영상과 공식 리서치 블로그를 공개했다. 텍스트나 단일 이미지를 바탕으로 실시간 탐험이 가능한 가상 환경을 생성하는 모델로, 이전 버전인 Genie 3와 비교해 가장 눈에 띄는 변화는 소리와 대화를 함께 만들어내는 네이티브 오디오(native audio) 지원과 Gemini 모델군과의 결합이다.

결론부터 말하면, Genie 4는 완성된 영상을 렌더링하는 비디오 생성기가 아니라 사용자의 키보드·음성·텍스트 입력에 맞춰 매 순간 다음 상태를 계산하는 실시간 월드 시뮬레이터다. 다만 현재는 신뢰할 수 있는 테스터(trusted testers)를 대상으로 한 초기 리서치 프리뷰 단계이며, 이 글은 공식 발표 영상과 공개된 기술 설명을 바탕으로 구성 요소와 한계를 정리한 것이다.

무음 환경에서 네이티브 오디오와 실시간 대화로 확장

2025년 8월에 공개된 이전 세대 모델 Genie 3는 720p 해상도, 24fps 수준의 실시간 화면 이동을 보여줬지만 소리가 없는 무음 시뮬레이션이었다. 반면 Genie 4는 화면 생성 단계부터 소리를 함께 다루는 네이티브 멀티모달 구조를 채택했다. Google 공식 발표

환경음과 효과음(Ambient Sound & SFX): 눈밭을 걷는 두루미가 피아노 건반을 누르는 소리, 숲속의 바람 소리, 폭포수와 수중 기포 소리 등 환경과 물리적 상호작용에 맞는 음향을 실시간으로 생성한다.

실시간 캐릭터 대화(Interactive Dialogue): 시뮬레이션 속 인물이 사용자의 음성이나 텍스트 지시, 혹은 주변 사건에 반응해 즉석에서 대사를 주고받는다. 영상에서는 오토바이 뒷자리에 탄 인물이 사용자의 프롬프트에 맞춰 고개를 돌리며 질문하거나, 드래곤을 탄 기수가 사용자의 음성 명령(“성을 공격하자”)에 “아니, 함정이야!”라고 실시간으로 응답하는 장면을 시연한다.

즉, 영상을 먼저 만든 뒤 후처리로 효과음을 덧입히는 방식이 아니라, 시각적 상태 변화와 청각적 반응이 하나의 월드 시뮬레이션 루프 안에서 동시에 생성되는 구조다.

픽셀 생성과 추론을 나눈 하이브리드 구조

월드 모델이 단순히 화면만 그릴 경우, 복잡한 연쇄 사건이나 긴 호흡의 지시를 처리할 때 인과관계가 무너지기 쉽다. Google DeepMind는 이를 보완하기 위해 Genie 4 모델 내부에 Gemini 계열 모델을 결합한 하이브리드 구조를 사용한다.

구성 요소	적용 모델 / 기능	시뮬레이션 내 역할
시각·물리 기반 고정	`Gemini Omni`	현실 세계의 외형, 질감, 물리적 움직임(공기역학, 충돌, 유체 등)의 기반 형성
다단계 계획 및 검증	`Gemini 3.8 Flash`	실시간 생성 화면을 관찰하며 목표를 단계별로 쪼개고, 각 프레임에서 단계 성공 여부를 확인해 계획 수정
로보틱스 작업 분해	`Gemini 4 Argon` • `Gemini Robotics`	사용자의 고수준 작업 지시를 단계별 텍스트 캡션으로 분해해 가상 로봇 훈련 시뮬레이션에 전달
실시간 조작 인터페이스	키보드(`WASD`/방향키) + 텍스트·음성	사용자가 카메라와 캐릭터를 직접 이동시키면서 자연어 프롬프트로 날씨·인물·사건을 즉시 변경

예를 들어 사용자가 실행 중인 장면에서 “배경에 폭발이 일어나고 거대한 외계 촉수가 나타난다”고 입력하면, 가이딩 에이전트 역할을 하는 Gemini 3.8 Flash가 현재 장면의 맥락에 맞춰 프롬프트를 해석하고 후속 프레임을 조향(steering)한다. 또한 사용자가 다른 월드를 탐험하는 동안에도 처음에 만들어 둔 첫 번째 월드가 멈추지 않고 스스로 진화(evolving)를 이어가는 상태 유지 개념도 함께 제시됐다.

게임·영상을 넘어선 로보틱스 가상 훈련(Sim-to-Real)

이번 발표에서 개발자와 엔지니어 관점으로 눈여겨볼 부분은 후반부에 등장하는 로봇 실험실 시뮬레이션이다. 영상의 01:36 부근에서는 로봇 팔이 마이크로플레이트(microplate) 웰에 피펫 팁을 정밀하게 삽입해 액체를 흡입·분주하는 수십 개의 가상 시나리오가 동시에 돌아간다.

화면 우측 상단에는 다음과 같은 추론 단계(REASONING STEPS)가 함께 기록된다.

실제 물리적 로봇으로 수만 번의 시행착오를 겪으려면 장비 파손 위험과 시간 비용이 크다. 물리 법칙과 인과관계를 모사하는 월드 모델을 로봇 에이전트의 가상 훈련장(training ground)으로 삼아, 가상 공간에서 먼저 작업을 연습한 뒤 실제 물리 환경으로 옮기는 접근이다. Google DeepMind 블로그에서도 Gemini 4 Argon과 Gemini Robotics를 결합해 휴머노이드 로봇의 작업 수행을 시뮬레이션하는 초기 연구를 함께 언급하고 있다.

현재 밝혀진 기술적 한계와 도입 시 구분할 점

데모 영상의 시각적 완성도는 높지만, Google DeepMind 연구진이 직접 밝힌 현재 기술의 한계와 미공개 스펙도 명확히 구분해서 봐야 한다.

장기 세션에서의 드리프트(Drift): 세션이 길어지거나(최대 약 2분 내외), 복잡한 프롬프트 수정과 카메라 이동이 반복되면 시각적 디테일이나 물체의 영속성(object permanence)이 흐트러질 수 있다.

세부 스펙 미공개: Genie 3 당시 명시했던 해상도(720p)나 프레임 레이트(24fps)와 달리, 이번 발표에서는 Genie 4의 정확한 출력 해상도, 초당 프레임 수, 연산 자원 요구량을 공식 수치로 공개하지 않았다.

연구 진행 중인 영역: 복잡한 물리 상호작용의 정밀도, 월드 내부 텍스트의 가독성, 실시간 오디오의 정확한 동기화, 다중 에이전트 상호작용은 여전히 개선 중인 과제로 명시되어 있다.

안전장치 및 워터마크: 생성되는 모든 비디오와 오디오 출력물에는 AI 생성물임을 식별하는 SynthID 워터마크가 포함된다.

따라서 현재 시점에서 Genie 4를 바라볼 때는 정밀한 물리 엔진이나 상용 게임 엔진을 즉시 대체하는 완제품이 아니라, 영화 사전 시각화(pre-visualization), 인터랙티브 경험의 빠른 프로토타이핑, 에이전트 및 로보틱스 연구용 시뮬레이터로 위치를 정의하는 편이 정확하다.

일반 사용자와 개발자 접근은 추후 Project Genie의 Google AI Ultra 구독자 및 Gemini API / Google AI Studio 얼리 액세스 파트너를 통해 순차적으로 열릴 예정이다.