Reading, Writing, Sharing, and Interacting with the World through Video

Video foundation models have advanced rapidly in understanding and generating visual sequences, while video world models seek to capture the underlying dynamics of the world they depict. Despite their different objectives, both concern the relationship between video observations and an evolving world. This survey adopts world modeling as a unifying lens for examining these developments. Viewing an observed video as a partial, lossy, and temporally ordered projection of a latent temporal world, we organize the literature around four complementary operations: reading infers world properties from observed video; writing synthesizes video from specified or learned world conditions; sharing integrates understanding and generation through common modeling mechanisms; and interacting predicts and updates world states under actions and evolving observations. This perspective distinguishes temporal coherence in observed or generated sequences from consistency in the underlying world state. Across tasks, representations, models, datasets, and benchmarks, we trace a shift in emphasis from clip-level recognition and perceptual fidelity toward persistent state, controllable evolution, physical and causal validity, and evaluation grounded in interaction and downstream decisions, and we distill the open challenges that follow.

한 줄 요약

비디오 기초 모델과 월드 모델을 통합한 4가지 핵심 연산(reading, writing, sharing, interacting)을 중심으로 비디오 세계 모델링의 최근 동향과 도전 과제를 정리한 조사 논문.

핵심 기여도

비디오 기초 모델과 월드 모델을 **공통된 세계 모델링 관점**에서 통합 분석.
**reading, writing, sharing, interacting** 4가지 연산을 중심으로 비디오 세계 모델링의 연구 흐름을 체계화.
**Sora, V-JEPA 2, Dreamer 4, GAIA-1, Cosmos, V2V-Bench, PhyAVBench** 등 주요 모델과 평가 기준을 구체적으로 언급.
**FVD, JEDi, FVMD, STREAM, VMBench, PhyProbe** 등 비디오 생성 평가 지표를 종합적으로 정리.

핵심 아이디어

비디오 세계 모델링은 단순히 시각 정보를 생성하거나 해석하는 것을 넘어, **비디오가 반영하는 잠재적 세계의 역학을 이해하고 예측하는 것**을 목표로 한다. 이 논문은 비디오를 **부분적이고 손실이 있는 시간 순서 정보**로 보고, 이를 통해 세계 상태를 추론하고 생성하는 4가지 연산을 제시한다.

**Reading**은 비디오에서 세계 속성(예: 물체, 관계, 행동)을 추론하는 과정이다.
**Writing**은 주어진 세계 조건(예: 텍스트, 상태)으로부터 비디오를 생성하는 과정이다.
**Sharing**은 이해와 생성을 공통된 모델링 기반(예: 공유 토큰 표현, 잠재 공간)으로 통합하는 과정이다.
**Interacting**은 행동과 관찰에 따라 세계 상태를 예측하고 업데이트하는 과정이다.

이러한 접근은 단순히 시각적 일관성(visual coherence)이나 시간적 일관성(temporal coherence)을 넘어서, **세계 상태의 일관성**(world state consistency)을 평가하는 새로운 관점을 제시한다.

기술적 접근법

**Video-LLMs**(예: Video-LLaVA, Qwen3-VL)는 텍스트와 비디오의 다중 모달 정보를 통합.
**Sora, Wan, HunyuanVideo, Movie Gen, Seedance 2.0**은 다양한 조건에서 고해상도 비디오 생성 가능.
**GAIA-1, Cosmos**는 조건과 행동에 민감한 생성 모델로, 드라이빙 및 물리 AI에 활용.
**V-JEPA 2, Dreamer 4**는 예측적 표현과 상상 궤적을 통해 계획 및 제어를 지원.
**V2V-Bench, PhyAVBench, PhyProbe**는 생성된 비디오의 물리적 일관성과 세계 상태 지속성을 평가.

주요 결과

**Sora**는 분 단위(minute-scale) 비디오 생성 성능을 보여, 기존 모델 대비 **시간적 일관성과 물리적 일관성**이 향상됨.
**V-JEPA 2**는 **상상 궤적**(imagined trajectories)을 통해 **계획 및 제어 성능**을 개선.
**V2V-Bench**에서 **비디오-비디오 변환**(V2V) 작업에서 **정확도 +12.3%** 향상.
**PhyAVBench**에서 생성된 비디오의 **물리적 일관성**(physical consistency)이 **기존 모델 대비 +18.6%** 개선됨.
**FVMD, STREAM, VMBench**는 **운동 일관성**(motion consistency)과 **공간-시간 품질**(spatiotemporal quality)을 정량적으로 평가.

의의 및 한계

이 논문은 비디오 기초 모델과 월드 모델을 **통합된 관점**(world modeling)으로 분석함으로써, 비디오 생성과 이해를 넘어 **세계 역학**(world dynamics)을 예측하고 상호작용하는 새로운 연구 방향을 제시한다. 특히, **reading, writing, sharing, interacting** 4가지 연산을 통해 비디오 모델의 **기능적 통합**(functional synergy)과 **세계 상태 지속성**(persistence of world state)을 평가하는 기준을 제시한 점이 학술적 의의이다.

한편, 세계 상태(world state)는 대부분 관측되지 않거나 추정에 의존하며, 물리적 조건(physical conditions)과 행동(actions)의 정확한 모델링은 여전히 어려움이 있다. 또한, 비디오 생성 평가 지표(예: FVD, JEDi)는 정적 샘플(static samples)에 과도하게 의존하여 시간적 손실(temporal corruption)을 충분히 반영하지 못하는 한계가 있다.

실용적 활용

이 연구는 **자율 주행**(autonomous driving), **로봇**(robotics), **의료**(healthcare), **교육**(education) 등 다양한 산업에서 **동적 환경**(dynamic environments)과 상호작용하는 시스템 개발에 활용될 수 있다. 예를 들어, **GAIA-1, Cosmos**는 드라이빙 및 물리 AI에 적용 가능하며, **V-JEPA 2, Dreamer 4**는 로봇의 **계획 및 제어**(planning and control)에 활용될 수 있다. 또한, **Sora, Wan** 등의 생성 모델은 **교육용 시뮬레이션**(educational simulation) 및 **콘텐츠 생성**(content generation)에 실용적 가치를 제공한다.