Marionette: Predicting World States, Rendering Geometry, Painting Appearance

Interactive game world models typically autoregress visual observations directly in pixel or latent space, forcing structured properties such as pose, geometry, and occlusion to be implicitly maintained by the same generative sequence. Over long horizons, errors in these latent world properties accumulate, making consistency and controllability fragile. We explicitly model the evolving world state, delegate exact geometric computation to a fixed, zero-parameter renderer, and leave the neural model to synthesize appearance. We instantiate this idea as Marionette, a world model for interactive games with articulated characters. First, a two-stage autoregressive dynamics model predicts an explicit and interpretable 276-dimensional 3D world state comprising multi-entity articulated skeletons, metric root trajectories, and rotations. Second, a zero-parameter graphics bridge converts the predicted state into pose-control videos, computing world-space geometry and occlusion in closed form. Third, a control-conditioned video-diffusion observation model synthesizes photorealistic RGB observations from the resulting structured controls. Our experiments establish two properties of Marionette. First, the predicted world state is directly controllable. Forcing a mismatched action stream changes root-aligned joint error by 31% across 48 held-out segments. Second, long-horizon behaviour is determined in the state, and can be repaired there. Left free, the two generated characters drift to 21.2 m apart (recorded sessions stay near 5 m) and a third of frames show ground penetration. Two rules imposed on the explicit state, a terrain collider and a separation cap, cut penetration by 66% and keep the pair engaged, with no change to the observation model. Routing appearance through the predicted state costs no fidelity we can detect, at an FVD of 831 against 799 for recorded pose.

한 줄 요약

Marionette는 3D 월드 상태를 예측하고 렌더링, 관찰을 분리하여 게임 세계 모델의 제어성과 일관성을 향상시킨다.

핵심 기여도

276차원 3D 월드 상태를 예측하는 2단계 자동회귀 역학 모델 제안.
제로-파라미터 그래픽스 브릿지로 기하 구조와 가림 현상을 닫힌 형태로 계산.
제어 조건이 있는 비디오-디퓨전 관찰 모델로 광학적으로 사실적인 RGB 이미지 생성.
제어 실험에서 31%의 관절 오차 변화를 기록하며, 21.2m의 거리 이탈을 66% 감소시킴.

핵심 아이디어

기존 게임 세계 모델은 픽셀 또는 잠재 공간에서 시각 관찰을 자동회귀하게 생성하며, 이로 인해 자세, 기하 구조, 가림 현상 등 구조적 속성들이 암묵적으로 유지되어 오류가 누적된다. Marionette는 이러한 문제를 해결하기 위해 월드 상태를 명시적으로 모델링하고, 정확한 기하 계산은 제로-파라미터 렌더러에 위임하며, 신경망 모델은 외관만 생성하도록 분리한다. 이는 역학 모델, 그래픽스 브릿지, 관찰 모델의 3단계 구조를 통해 구현되며, 특히 제어 조건이 있는 비디오-디퓨전 모델이 광학적 사실성을 담보한다.

기술적 접근법

**역학 모델**: 276차원 3D 월드 상태를 예측하는 2단계 자동회귀 모델.
**그래픽스 브릿지**: 제로-파라미터로 기하 구조와 가림 현상을 닫힌 형태로 계산.
**관찰 모델**: 제어 조건이 있는 비디오-디퓨전 모델로 RGB 이미지 생성.
**데이터셋**: 48개의 테스트 세그먼트에서 실험 수행.
**하이퍼파라미터**: FVD(Fr´echet Video Distance)를 사용한 평가, 기록된 자세 대비 831 대 799.

주요 결과

**제어 실험**: 48개 세그먼트에서 제어 불일치로 31%의 관절 오차 변화.
**장기 행동**: 21.2m 이탈 감소 (66%) 및 지면 침투 감소.
**시각적 품질**: FVD 831 (기록된 자세 대비 799)로 품질 저하 없음.

의의 및 한계

Marionette는 명시적 월드 상태를 통해 제어성과 일관성을 향상시키며, 기하 구조와 가림 현상의 정확성을 담보한다. 그러나 제한된 실험 환경에서만 효과가 검증되었으며, 복잡한 환경에서는 제어 규칙이 최적화 과정에서 무시될 수 있다. 또한, 외관 생성 모델의 정확성은 FVD로만 평가되었으며, 심층적 시각적 평가가 필요하다.

실용적 활용

게임 개발, VR/AR 시뮬레이션, 로봇 제어 시스템 등에서 구조적 월드 상태를 유지하면서 시각적 사실성을 담보할 수 있는 시스템 설계에 활용 가능. 특히 장기 제어와 정확한 물리 시뮬레이션이 필요한 환경에서 유용.