Code as Worlds: Agentic Discovery of Executable World Representations for Physical Reasoning

Physical understanding and reasoning depend on forming compact and generalizable representations of the world. While modern vision-language models can recognize and explain diverse physical events, they often lack explicit representations of the underlying mechanisms-such as object states, physical parameters, and governing dynamics-needed for reliably reasoning how the world evolves and responds to interventions. In this work, we introduce Code-as-World, a paradigm that represents physical worlds through executable world representations. By expressing physical composition, dynamic evolution, and visual appearance as executable code, Code-as-World provides a compact, quantitatively grounded, and controllable abstraction of the physical world. To construct such representations from multimodal observations, such as natural-language descriptions or real-world videos, we develop an agentic discovery loop inspired by abductive reasoning, where an agent proposes, executes, renders, verifies, and iteratively refines executable world hypotheses. As a concrete application, we use verified executable worlds to provide scalable physical supervision for training vision-language models on quantitative physical reasoning. Experiments show that Code-as-World-VL achieves state-of-the-art performance on QuantiPhy and surpasses leading proprietary models, highlighting the potential of executable world representations as a scalable foundation for physical intelligence.

한 줄 요약

Code-as-World는 실행 가능한 코드로 물리적 세계를 표현하는 새로운 패러다임으로, VLM의 정량적 물리적 추론 성능을 크게 향상시킨다.

핵심 기여도

**Code-as-World**라는 실행 가능한 코드 기반의 물리적 세계 표현 패러다임 제안.
**Agentic discovery loop** (propose–instantiate–execute–render–verify)를 통해 다중 모달 관측으로 실행 가능한 세계 가설을 반복적으로 개선.
**Code-as-World-VL** 모델은 QuantiPhy 데이터셋에서 **Gemini-3.1-Flash**를 포함한 기존 모델을 초과.
실행 가능한 세계 표현을 활용한 **정량적 물리적 추론**에 대한 확장 가능한 물리적 지도 제공.

핵심 아이디어

기존 시각-언어 모델(VLM)은 물리적 현상을 설명할 수 있지만, 객체 상태, 물리적 파라미터, 운동 법칙과 같은 **구조적 메커니즘**을 명시적으로 표현하지 못한다. Code-as-World는 이 문제를 해결하기 위해, **물리적 구성**, **동적 진화**, **시각적 표현**을 **실행 가능한 코드**로 표현함으로써, **컴팩트하고 수치 기반**, **제어 가능한 추상화**를 구축한다. 이는 단순히 관측을 설명하는 것이 아니라, **왜 그런 현상이 발생하는지**, **어떻게 변화하는지**를 이해하는 데 필요하다.

이러한 표현을 얻기 위해, Code-as-World는 ** abduction-based agentic discovery loop**를 도입한다. 이 과정에서 에이전트는 관측 데이터(예: 자연어 설명, 실제 영상)를 바탕으로 **가설을 제안**, **실행**, **렌더링**, **검증**하며 반복적으로 개선한다. 이는 과학적 추론과 유사한 방식으로, **간단하면서도 설명력 있는 가설**을 추구한다.

기술적 접근법

**Code-as-World**는 물리적 세계를 **실행 가능한 코드**로 표현.
**Agentic discovery loop**는 5단계로 구성됨: **propose**, **instantiate**, **execute**, **render**, **verify**.
**Code-as-World-VL**은 **Code-as-World**로 생성된 실행 가능한 세계를 사용하여 **정량적 물리적 추론**을 학습.
**QuantiPhy** 데이터셋에서 **Code-as-World-VL-9B**가 **Gemini-3.1-Flash**를 포함한 기존 모델을 초과.
**Code-as-World-VL-27B**는 9B 버전보다 더 높은 성능을 보임.
**Traj-ADE**, **Velocity-ADE**, **Accuracy@2% D** 등의 지표를 사용하여 **물리적 정확도**를 평가.

주요 결과

**Code-as-World-VL-9B**는 QuantiPhy 데이터셋에서 기존 모델을 **초과**.
**Code-as-World-VL-27B**는 9B 버전 대비 **더 높은 성능**을 보임.
**Traj-ADE**, **Velocity-ADE**, **Accuracy@2% D** 등의 지표에서 **명확한 개선 폭**을 기록.
**Gemini-3.1-Flash**를 포함한 **상용 모델**을 **초과**하며, 실행 가능한 세계 표현의 **확장 가능성**을 입증.

의의 및 한계

Code-as-World는 **물리적 추론의 구조적 메커니즘**을 명시적으로 표현함으로써, 기존 VLM의 한계를 극복한다. 실행 가능한 코드 표현은 **검증 가능**, **제어 가능**, **재사용 가능**하다는 점에서 **물리적 지능**의 기초로 활용 가능하다. 또한, **정량적 물리적 추론**을 위한 확장 가능한 지도를 제공하며, **VLM 학습 효율성**을 높인다.

하지만, Code-as-World는 **다중 모달 데이터**를 기반으로 실행 가능한 가설을 생성하는 과정에서 **복잡한 상황**에서는 **수렴 속도**나 **정확도**가 저하될 수 있다. 또한, **실행 가능한 코드 생성**은 계산 자원이 상대적으로 **많이 소모**될 수 있으며, **실시간 적용**에는 한계가 있을 수 있다.

실용적 활용

Code-as-World는 **로봇 시뮬레이션**, **교육용 물리 시스템**, **자동 시나리오 생성** 등에서 활용 가능하다. 특히, **VLM 학습에 확장 가능한 물리적 지도**를 제공하여, **정량적 물리적 추론**이 필요한 산업 분야(예: 자율 주행, 산업 자동화)에서 **모델 성능**을 향상시킬 수 있다.