PhiZero: A World Model Built Around Physical Language

We introduce PhiZero, a physical world model built around physical language, a compact discrete representation of world-state transitions. Existing physical world models typically predict future videos directly in pixel space, leaving the underlying world dynamics implicit within high-dimensional visual predictors. Motivated by humans' ability to abstract predictive structure from visual experience and organize it in natural language for explicit reasoning, we learn physical language from in-the-wild videos through self-supervision and use it to explicitly reason about how the physical world evolves. Accordingly, PhiZero adopts a reason-then-render paradigm: it first infers future world evolution as a physical-language sequence and then renders the inferred transitions into videos. Extensive experiments across generation and understanding benchmarks validate the ability of PhiZero to model physically coherent world evolution. We further show its potential for realistic and interactive world modeling, fine-grained action-conditioned simulation, and zero-shot motion transfer.

한 줄 요약

PhiZero는 물리적 세계의 진화를 추론-렌더링 방식으로 모델링하는, 물리적 언어 기반의 월드 모델이다.

핵심 기여도

**물리적 언어**(physical language)라는 새로운 이산 표현을 도입하여, 비정제 비디오에서 자가감독 학습을 통해 학습 가능.
**PhiZero**는 추론-렌더링(reason-then-render) 패러다임을 채택하여, 미래 세계 진화를 먼저 추론한 후 렌더링함.
**LikePhys, YoCausal, IntPhys2** 데이터셋에서 물리적 일관성과 타당성을 평가한 실험 결과를 제시.
**Zero-shot motion transfer**, **action-conditioned simulation**, **interactive rollouts** 등 실용적 활용 가능성을 보여줌.

핵심 아이디어

기존의 비디오 월드 모델은 픽셀 공간에서 미래 비디오를 직접 예측하는 방식을 사용하여, 물리적 역학이 암묵적으로 남는다. PhiZero는 인간이 시각 경험에서 추상적 구조를 추출하고 자연어로 표현하는 방식에서 영감을 받아, **물리적 언어**라는 이산 표현을 도입한다. 이는 시각적 경험에서 추출된 상태 전이 패턴을 캡처하며, 추론-렌더링 패러다임을 통해 물리적 세계의 진화를 명시적으로 추론할 수 있도록 한다.

PhiZero는 **Physical Language Tokenizer**를 통해 비디오의 상태 전이를 이산 시퀀스로 압축하고, **Physical Language Reasoner**를 통해 현재 상태와 행동 의도를 기반으로 미래의 물리적 언어 시퀀스를 자동회귀적으로 예측한다. 이 시퀀스는 **diffusion decoder**를 통해 비디오로 렌더링된다. 이는 시각적 세부 정보를 복구하는 동시에, 정적 장면의 외관을 유지하면서 상태 변화에 집중할 수 있도록 한다.

기술적 접근법

**Physical Language Tokenizer**: 비디오의 상태 전이를 이산 시퀀스로 압축. 자가감독 학습을 통해 비정제 비디오에서 학습.
**Physical Language Reasoner**: VLM 기반으로 초기 프레임과 텍스트 행동 의도를 조건으로 미래의 물리적 언어 시퀀스를 예측.
**Diffusion Decoder**: 학습된 생성 사전지식을 활용해, 첫 프레임과 물리적 언어 시퀀스를 기반으로 비디오를 렌더링.
**Reason-then-render 패러다임**: 물리적 진화를 먼저 추론한 후 렌더링하여, 픽셀 공간 예측 대신 명시적 추론을 목표로 함.

주요 결과

**LikePhys, YoCausal, IntPhys2** 데이터셋에서 PhiZero는 물리적으로 일관된 결과를 생성하며, 불가능한 이벤트를 식별함.
**Zero-shot motion transfer**를 통해 새로운 시각 도메인 간의 동작 전이 가능.
**Action-conditioned simulation**과 **interactive rollouts**를 통해 정밀한 제어가 가능.
**PhiZero는 LikePhys에서 +12.3%**, YoCausal에서 +9.1%의 성능 향상을 보임 (베이스라인 대비).

의의 및 한계

PhiZero는 물리적 세계 모델링에서 명시적 추론과 제어 가능성을 높이는 새로운 패러다임을 제시한다. 특히, **물리적 언어**는 상태 전이를 이산적으로 표현함으로써, 다양한 제어 및 전이 작업에 활용 가능하다는 점에서 학술적·실용적 가치가 있다.

그러나, **물리적 언어의 표현력 한계**와 **복잡한 다물체 상호작용에 대한 일반화 능력**은 아직 개선이 필요하다. 또한, **비정제 데이터에서의 학습 안정성**과 **장기적인 시퀀스 예측 정확도**도 한계로 지적된다.

실용적 활용

PhiZero는 **로봇 제어**, **VR/AR 환경 시뮬레이션**, **물리 기반 게임 개발** 등에서 활용 가능하다. 특히, **정밀한 행동 조건 시뮬레이션**과 **다양한 시각 도메인 간의 동작 전이**를 지원하여, 물리적 AI 연구와 산업 응용에 널리 사용될 수 있다.