Holo-World: Unified Camera, Object and Weather Control for Video World Model

Video world models are moving toward preserving an observed world under controllable camera and object motion while allowing its environmental state to change. Yet these controls remain isolated, and weather generation typically relies on a source video or reconstructed scene that already specifies future structure. We study a first-frame-anchored source-to-state setting, where the model starts from a single image and follows explicit camera and object controls and an optional weather instruction, then generates a video that either preserves the source world or transfers it to a target weather state. To address these challenges, we first build HoloStateData, a state video dataset that turns diverse videos into unified control samples for camera, object, and weather supervision. Second, we introduce Holo-World, a unified controllable video world model that jointly controls scene from a single image. Its Unified Scene Adapter factorizes world preservation and weather transfer into distinct parameter subspaces, using rendered background, geometry buffers, and object controls to maintain controlled scene structure while modeling weather-dependent appearance and particle effects. Additionally, Scene-Weather Decomposed CFG guides scene and weather residuals separately, strengthening target weather effects without over-amplifying the full condition. Quantitative and qualitative experiments demonstrate that Holo-World maintains precise camera and object control with consistent scene structure while transferring scenes into diverse target weather state, outperforming video-to-video weather editing baselines on weather-state generation. Our project page is available at https://xiangchenyin.github.io/Holo-World/.

한 줄 요약

Holo-World는 단일 이미지에서 시작해 카메라, 객체, 날씨를 통합 제어하는 비디오 월드 모델이다.

핵심 기여도

HoloStateData: 다양한 영상에서 카메라, 객체, 날씨 제어 샘플을 통합한 상태 비디오 데이터셋 구축.
Unified Scene Adapter: 세계 유지와 날씨 전이를 서로 다른 파라미터 서브스페이스로 분리하여 구조 유지와 날씨 효과를 병행.
Scene-Weather Decomposed CFG: 장면과 날씨 잔차를 분리하여 목표 날씨 효과를 강화하면서 전체 조건을 과도하게 증폭하지 않음.
비디오-비디오 날씨 편집 기반선 대비 날씨 상태 생성에서 우수한 성능을 보임.

핵심 아이디어

기존 연구는 날씨 생성에 소스 비디오나 이미 재구성된 장면에 의존하는 반면, Holo-World는 단일 이미지에서 시작하여 명시적인 카메라, 객체 제어와 선택적 날씨 지시를 따르며 비디오를 생성한다. 이는 세계 유지와 날씨 전이를 병렬적으로 처리하는 새로운 접근법이다. Unified Scene Adapter는 렌더링된 배경, 기하 버퍼, 객체 제어를 활용해 구조를 유지하면서 날씨 의존적 외관과 입자 효과를 모델링한다. Scene-Weather Decomposed CFG는 장면과 날씨 잔차를 분리해 날씨 효과를 강화하는 동시에 전체 조건을 과도하게 증폭하지 않도록 안정화한다.

기술적 접근법

**HoloStateData**: 다양한 비디오를 카메라, 객체, 날씨 제어 샘플로 통합.
**Unified Scene Adapter**: 세계 유지와 날씨 전이를 서로 다른 파라미터 서브스페이스로 분리.
**Scene-Weather Decomposed CFG**: 장면과 날씨 잔차를 분리하여 날씨 효과 강화.
입력: 단일 이미지, 명시적 카메라/객체 제어, 선택적 날씨 지시.
출력: 구조 일관성 유지, 다양한 날씨 상태로 전이된 비디오.

주요 결과

비디오-비디오 날씨 편집 기반선 대비 날씨 상태 생성에서 우수한 성능.
구조 일관성과 날씨 전이의 정확도를 동시에 달성.
구체적인 수치는 명시되지 않지만, 질적·양적 실험에서 기존 방법 대비 개선됨을 보여.

의의 및 한계

Holo-World는 단일 이미지에서 시작해 카메라, 객체, 날씨를 통합 제어하는 첫 번째 시도로, 비디오 생성의 유연성과 제어력을 높이는 데 기여한다. 특히 날씨 전이와 구조 유지의 병렬 처리는 기존 연구에서 부족했던 점을 보완한다. 그러나 실험 결과의 수치적 비교가 명시되지 않아 정량적 평가의 한계가 있다. 또한, 날씨 전이의 범위나 품질에 대한 구체적 제약도 언급되지 않았다.

실용적 활용

Holo-World는 영화 제작, 게임 개발, VR/AR 환경 구축 등에서 시각 효과를 효율적으로 제어할 수 있는 도구로 활용될 수 있다. 특히 날씨 변화를 동적으로 시뮬레이션하면서 장면 구조를 유지하는 능력은 실시간 환경 제어에 유용하다.