Orca: The World is in Your Mind

We introduce Orca, an initial instantiation of a general world foundation model. Orca learns a unified world latent space from multimodal world signals and exposes it through multimodal readout interfaces. Rather than optimizing isolated next-token, next-frame, or next-action prediction, we are centered on Next-State-Prediction modeling, offering a unified state-transition modeling route toward understanding, predicting, and acting upon the world. Orca learns through two complementary paradigms: unconscious learning captures dense natural state transitions from continuous videos, and conscious learning models sparse meaningful state transitions by language-described events and VQA supervision. For pre-training, we construct a large-scale world-learning inventory data, including 125K hours of video data and 160M event annotations. After pre-training, Orca learns a unified world latent space. To examine whether the learned latent supports downstream, we evaluate it by three representative downstream readouts: text generation, image prediction, and embodied action generation. Orca's backbone is frozen, and only the lightweight modality-specific decoders are trainable. Experiments show the scalability of the proposed paradigm and verify that stronger world latent enables stronger downstream readouts. Orca outperforms similar-sized specialized baselines. These results show that Orca, as a general world foundation model, presents a promising approach to understanding, predicting, and acting upon the world. Finally, we discuss the current limitations, aiming to provide useful insights and inspiration for the community.

한 줄 요약

Orca는 다중 모달 신호에서 학습한 통합 세계 잠재 공간을 통해 세계를 이해하고 예측하는 일반 세계 기초 모델이다.

핵심 기여도

Orca는 125K 시간의 영상과 160M 개의 이벤트 어노테이션을 사용한 대규모 데이터셋에서 학습한 통합 세계 잠재 공간을 구축.
무의식 학습과 의식 학습이라는 두 가지 상보적 학습 패러다임을 도입하여 자연스러운 상태 전이와 의미 있는 상태 전이를 동시에 모델링.
텍스트 생성, 이미지 예측, 체화 행동 생성이라는 세 가지 다운스트림 태스크에서 전용 베이스라인 대비 우수한 성능을 보임.
Orca는 학습된 잠재 공간이 더 크고 데이터 규모가 늘어날수록 성능이 향상되는 확장성을 입증.

핵심 아이디어

Orca는 단일 토큰, 프레임, 행동 예측에 집중하는 기존 모델과 달리, **Next-State-Prediction**을 중심으로 세계의 상태 전이를 통합적으로 모델링한다. 이는 세계를 이해하고 예측하며 행동을 생성하는 데 필요한 핵심 메커니즘이다. Orca는 **무의식 학습**(Unconscious Learning)과 **의식 학습**(Conscious Learning)이라는 두 가지 학습 패러다임을 통해 이 목표를 달성한다. 무의식 학습은 연속적인 영상에서 밀집된 자연 상태 전이를 학습하며, 라벨 없이 내재적 감독을 통해 학습한다. 반면, 의식 학습은 언어로 설명된 이벤트와 VQA 감독을 통해 의미 있는 희소 상태 전이를 모델링한다. 이 두 학습 방식은 **통합 세계 잠재 공간**(Unified World Latent Space)을 형성하며, 이는 텍스트, 이미지, 행동 생성과 같은 다운스트림 태스크에 활용된다.

기술적 접근법

**모델 구조**: Orca는 **Encoder**와 **Decoder**로 구성되며, Encoder는 시각 및 언어 신호를 입력으로 받아 잠재 공간을 학습.
**학습 패러다임**:
**Unconscious Learning**: 연속 영상에서 자연 상태 전이를 학습 (λobs).
**Conscious Learning**: 언어로 설명된 이벤트와 VQA 감독을 통해 의미 있는 상태 전이를 학습 (λevt).
**VQA Response Generation**: 언어 응답 생성을 통해 의미 기반 잠재 공간을 강화 (λvqa).
**데이터셋**: 125K 시간의 영상 데이터와 160M 개의 이벤트 어노테이션을 포함한 대규모 학습 데이터.
**학습 전략**: Orca의 백본은 고정되고, **가벼운 모달별 디코더**(Lightweight Modality-Specific Decoders)만 학습 가능.

주요 결과

**텍스트 생성**: Orca는 MVBench와 SWITCH에서 644개, 1,676개 샘플에서 평균 성공률을 기준으로 **상식 추론**과 **상태 전이**에서 높은 성능을 보임.
**이미지 예측**: Orca는 PRICE 평가에서 최근 이미지 생성 베이스라인 대비 **최고 평균 성능**을 달성.
**행동 생성**: Orca는 OOD 설정에서 Qwen3.5 대비 **성공률 0%에서 100% 이상 향상**.
**통합 잠재 공간**: 학습된 잠재 공간은 텍스트, 이미지, 행동 생성 모두에서 **균형 잡힌 성능**을 제공하며, 데이터 규모가 늘어날수록 성능이 향상됨.

의의 및 한계

Orca는 단일 모델로 세계를 통합적으로 이해하고 예측하는 데 중요한 기초를 제공하며, **Next-State-Prediction** 기반의 새로운 모델링 패러다임을 제시한다. 특히, **무의식 학습**과 **의식 학습**의 결합은 자연스러운 상태 전이와 의미 있는 상태 전이를 동시에 모델링할 수 있는 강력한 기반을 제공한다. 그러나 Orca는 현재 **시각 및 언어 신호만**을 주로 사용하며, 터치, 힘, 빛 등 다른 신호를 포함하지 못하는 한계가 있다. 또한, **복잡한 3D 공간 이해**나 **정확한 물리 모델링**에 대한 제약이 존재하며, 이는 향후 연구 방향으로 제시된다.

실용적 활용

Orca는 로봇 행동 생성, 실시간 환경 예측, 멀티모달 인터페이스 개발 등 다양한 산업 분야에서 활용 가능하다. 특히, **실제 환경에서의 상호작용**과 **복잡한 상태 전이 예측**이 필요한 시스템에 적합하며, **자율 주행**, **로봇 제어**, **멀티모달 인공지능** 분야에서 실용적 가치가 높다.