WorldCast: Exploring Intelligent Visual Generation in World State Prediction

Humans interpret multimodal observations of the world and forecast how it will evolve. Recent multimodal generative systems have demonstrated similar capabilities: they can integrate multimodal context and synthesize visual outputs that depict changes in the world. To characterize this emerging trajectory, we organize model capabilities into a four-level hierarchy and discover that higher-level tasks remain relatively underexplored despite model progress. To bridge this gap, we explore model performance on multi-step world state prediction, a high-level task that requires models to forecast successive future world states from multimodal observations and diverse references. Such a task requires models to possess entangled understanding and generation capabilities, as well as extensive world knowledge to translate human action sequences, physical transformations, and abstract visual reasoning into coherent visual outputs. We introduce WorldCast, a benchmark comprising 320 manually designed cases across eight categories, and evaluate 12 representative models. The conducted experiments yield three key insights: (a) advances in frontier models are rapidly pushing the boundaries of intelligent world modeling, with the GPT-Image-2.5 System scoring 72.8 and demonstrating early-stage visual state prediction capabilities on real-world tasks; (b) WorldCast reveals substantial gaps between models: even Nano Banana Pro reaches only 42.8 and the best open-source model scores 20.1, with deficits in handling complex context, entangled references, and reasoning-heavy tasks; (c) strong generative models effectively draw on the capabilities of their underlying language models. These findings highlight the need for multimodal generative models that are capable of dynamic planning and reasoning while also being deeply unified to faithfully simulate real-world states.

한 줄 요약

WorldCast는 시각 생성 모델의 세계 상태 예측 능력을 평가하는 벤치마크로, GPT-Image-2.5가 72.8점, Nano Banana Pro가 42.8점, 최고 오픈소스 모델이 20.1점을 기록했다.

핵심 기여도

세계 상태 예측(World State Prediction)이라는 새로운 과제를 정의하고, 8개 범주에 걸쳐 320개의 수작업 사례로 구성된 WorldCast 벤치마크를 제안.
12개 대표 모델을 평가하여 GPT-Image-2.5가 72.8점, Nano Banana Pro가 42.8점, 최고 오픈소스 모델이 20.1점으로 큰 성능 격차를 드러냄.
언어 모델 강화(Language Enhancement)와 교차 생성(Interleaved Generation)이 성능에 긍정적 영향을 미치는 것을 분석.
Agentic Video Adapter를 도입하여 이미지 및 동영상 모델을 동일 프로토콜로 평가.

핵심 아이디어

기존 시각 생성 모델은 단일 이미지나 비디오 생성에 집중했으나, 실제 세계의 동적 변화를 예측하는 능력은 상대적으로 연구가 부족했다. 이에 연구팀은 세계 상태 예측이라는 고차원 과제를 정의하고, 이 과제는 모델이 다양한 참조 정보를 이해하고, 물리적 변형, 인간 행동, 추상적 시각적 추론을 통합하여 일관된 시각적 출력을 생성해야 한다는 점에서 기존 과제와 구분된다.

이 과제는 단순한 생성이 아닌, 참조 정보의 의미를 해석하고, 언제 어떤 방식으로 적용할지를 추론하는 능력이 필요하다. 이를 위해 WorldCast는 4단계 능력 계층(L1~L4)을 기반으로 설계되었으며, 특히 L3~L4에서는 복잡한 동적 전이와 물리적 타당성을 요구한다.

기술적 접근법

**WorldCast 벤치마크**: 8개 범주, 320개 수작업 사례, 1,352개의 요청된 시각적 상태로 구성.
**평가 차원**: Task Completion (TC), Causal Plausibility (CP), Visual Consistency (VC) 3가지 차원에서 평가.
**Agentic Video Adapter**: GPT-6 Astra를 활용해 동영상 모델의 키프레임을 추출하여 이미지 모델과 동일한 프로토콜로 평가.
**GPT-5.5 LMM-as-a-Judge**: Progress Alignment (PA), Outcome Completion (OC) 등을 기반으로 자동 평가.
**Interleaved Generation**: 언어 모델이 단계별 시각 생성을 가이드하는 방식으로, GPT-Image-2.5의 성능은 격자 방식 대비 22.7점 높음.
**Language Enhancement**: Nano Banana Pro에 GPT-6를 결합하면 L3-L4 성능이 향상됨.

주요 결과

GPT-Image-2.5가 72.8점으로, 실제 세계 과제에서 초기 단계의 시각 상태 예측 능력을 보임.
Nano Banana Pro는 42.8점, 최고 오픈소스 모델은 20.1점으로, 복잡한 맥락, 참조 정보, 추론 집중 과제에서 부족함 드러냄.
Interleaved Generation은 GPT-Image-2.5의 L4 Logic & Rules 성능을 74.3 → 23.0으로 낮춤.
GPT-6 Astra를 사용한 Nano Banana Pro는 82.6 → 76.4로 성능 저하가 감소함.

의의 및 한계

WorldCast는 시각 생성 모델의 고차원 능력을 체계적으로 평가하는 첫 번째 벤치마크로, 모델 간 성능 격차를 명확히 드러내며, 언어 모델과 생성 모델의 통합이 중요함을 강조한다. 또한, Interleaved Generation과 Language Enhancement가 세계 상태 예측 성능에 긍정적 영향을 미친다는 점에서, 미래 연구 방향을 제시한다.

그러나, 모델의 성능 저하는 특히 복잡한 맥락 처리와 추론 집중 과제에서 두드러지며, 이는 단순한 생성 능력이 아닌, 동적 계획 및 추론 능력이 필요함을 시사한다. 또한, Agentic Video Adapter는 전체 동영상의 타당성이나 시각 품질을 평가하지 않기 때문에, 일부 정보가 누락될 수 있다.

실용적 활용

WorldCast는 시뮬레이션 기반의 자율 시스템, 인공지능 기반 교육, 게임 및 로봇 제어 등에서 모델의 세계 이해와 예측 능력을 평가하는 데 활용될 수 있다. 특히, GPT-Image-2.5와 같은 통합 모델은 복잡한 시나리오에서 초기 단계의 시각 상태 예측을 지원하며, 언어 모델 강화를 통해 생성 품질을 향상시킬 수 있다.