World in World: Explore the World with World Models

Autoregressive video world models enable interactive, long-horizon exploration, but flexible control remains challenging. Exploring a source video from new viewpoints requires the generated rollout to remain synchronised with the recorded event, place observed content in the requested view, plausibly complete newly exposed regions, and recover previously generated appearance on revisits. Existing methods typically address these requirements through task-specific modules or additional training. We present World in World, a training-free inference-time interface that converts heterogeneous control evidence into camera- and time-labelled clean visual states, which are read through the native self attention of a frozen causal video model. The evidence comprises source-video observations, target-view scene projections, geometry renderings that guide completion of newly exposed subject regions, and retrieved generated states beyond the rolling cache. Each evidence source carries token-level support and its own availability schedule. A correspondence router combines persistent point identities with geometry to establish token correspondences, guiding supported queries towards matching source-video tokens. Evidence-wise attention CFG (EWA) then independently regulates each auxiliary channel's additional contribution using attention responses from the same denoising forward pass. The shared interface supports camera-controlled rerendering, long-horizon revisiting, and human-motion transfer with the same frozen backbone. We evaluate World in World on camera-controlled video rerendering under diverse viewpoint changes, assessing perceptual quality, temporal consistency, and camera-following accuracy.

한 줄 요약

World in World(WiW)는 학습 없이 동영상 월드 모델을 다양한 시점에서 제어하는 시각적 증거 인터페이스를 제시한다.

핵심 기여도

학습 없이 동영상 월드 모델을 제어하는 **training-free** 인터페이스를 제안.
**Correspondence-guided attention routing**과 **Evidence-wise attention CFG(EWA)**를 통해 다양한 시각적 증거를 통합.
**DAVIS**와 **OpenVid-1M** 데이터셋에서 **VBench 7차원 평가**에서 최고 성능 달성.
**3.4×**와 **10.9×**의 카메라 오류 증가를 기록한 실험 결과를 통해 **target-view warping**과 **source-camera conditioning**의 중요성을 입증.

핵심 아이디어

기존의 동영상 월드 모델은 특정 제어를 위해 별도의 모듈이나 추가 학습이 필요했으나, WiW는 **기존 모델의 self-attention 메커니즘**을 활용해 학습 없이 다양한 제어를 가능하게 한다. 이는 **clean visual states**라는 공통 인터페이스를 통해 **source-video observations**, **target-view projections**, **rendered geometry**, **generated history**를 통합하는 방식이다. 특히, **Correspondence router**는 지속적인 포인트 ID와 기하학 정보를 결합해 토큰 대응을 설정하고, **EWA**는 각 증거의 영향력을 독립적으로 조절한다. 이는 동일한 모델을 재학습하지 않고도 다양한 제어를 가능하게 하는 핵심 아이디어이다.

기술적 접근법

**WiW**는 **frozen causal video model**에 외부 제어 정보를 **clean visual states**로 변환하여 제공.
**Correspondence router**는 **source-video tokens**와 **target-view queries** 간 대응을 설정.
**EWA(Evidence-wise attention CFG)**는 각 증거의 영향력을 독립적으로 조절하며, **denoising forward pass**에서의 attention 응답을 활용.
**Source-video observations**, **target-view projections**, **rendered geometry**, **generated history**를 각각의 **clean-state interface**로 표현.
**Target-view warping**과 **source-camera conditioning**은 카메라 제어 정확도에 핵심적 역할.

주요 결과

**DAVIS**와 **OpenVid-1M** 데이터셋에서 **VBench 7차원 평가**에서 **가장 높은 평균 점수** 달성.
**Camera trajectory error**는 비교 방법 중 **가장 낮은 수치** 기록.
**Target-view warping** 제거 시, **rotation error**와 **translation error**가 각각 **3.4×**와 **10.9×** 증가.
**Source-camera conditioning** 제거 시에도 카메라 오류 증가를 확인.

의의 및 한계

WiW는 기존 월드 모델을 학습 없이 다양한 제어에 활용할 수 있는 **유연한 인터페이스**를 제시하며, **camera-controlled rerendering**, **long-horizon revisiting**, **human-motion transfer** 등 다양한 작업에 적용 가능하다. 또한, **visual evidence construction**과 **orchestration**을 통한 제어 확장은 모델 재학습 없이도 가능하다는 점에서 학술적·실용적 가치가 있다. 그러나 **증거의 공간적·시간적 유효성**을 정확히 관리하는 것이 여전히 어려운 점이 있으며, **복잡한 환경 변화**에 대한 일반화 능력은 추가 연구가 필요하다.

실용적 활용

WiW는 **가상 콘텐츠 제작**, **게임 제작**, **로봇 시뮬레이션** 등에서 **동영상 월드 모델의 제어**를 학습 없이 가능하게 하며, **동일한 모델을 다양한 작업에 재사용**할 수 있는 기반을 제공한다. 특히, **실시간 카메라 제어**와 **장기적 시점 재방문**이 필요한 시나리오에서 유용하게 활용될 수 있다.