OPINE-World: Programmatic World Modeling with Ontology-error-Prioritized Interactive Exploration

Learning how an environment behaves from interaction is central to building agents that adapt to unfamiliar tasks. World models learned with deep networks are flexible but data-hungry and transfer poorly beyond their training distribution. Program-synthesized world models, written as source code by LLMs and refined through counterexample-guided inductive synthesis (CEGIS), are instead data-efficient and reusable, yet they have been demonstrated mainly on structured-state worlds with a given object vocabulary, and a single program search does not scale to pixel-rendered environments whose object structure must be hypothesized flexibly. We introduce OPINE-World, an LLM agent that learns an object-centric programmatic world model online from interaction. OPINE-World couples two cooperating agents in a loop of hypothesis and test, one acting in the environment and one synthesizing the model in code with replay verification and model-based planning, and it steers exploration with a Bayesian measure of object-type adequacy we call ontology error. We evaluate OPINE-World on ARC-AGI-3, a benchmark for skill-acquisition efficiency in which the object vocabulary, the goal, and the action semantics are withheld. OPINE-World solves 20 of 25 games without per-game training and reaches an action-efficiency score of 78.4 against the human baseline.

한 줄 요약

OPINE-World는 상호작용을 통해 객체 중심 프로그래밍 월드 모델을 학습하는 LLM 에이전트로, ARC-AGI-3에서 25개 게임 중 20개를 훈련 없이 해결한다.

핵심 기여도

**두 LLM 에이전트의 협력적 가설-검증 루프**를 도입하여, 프로그램 합성과 모델 기반 계획을 결합.
**ontology error**라는 베이지안 측정법을 통해 객체 타입의 설명력을 기반으로 탐색을 유도.
**ARC-AGI-3** 벤치마크에서 25개 게임 중 20개를 훈련 없이 해결, **78.4%의 액션 효율성 점수** 달성.
**CEGIS (Counterexample-Guided Inductive Synthesis)**를 활용한 프로그램 합성 모델로, 기존 프로그램 합성 및 신경망 기반 모델보다 훨씬 높은 성능.

핵심 아이디어

OPINE-World는 기존 프로그램 합성 모델이 구조화된 상태와 주어진 객체 사전에 의존한 반면, **픽셀 렌더링 환경에서 객체 구조를 유연하게 추정**할 수 있도록 설계되었다. 이는 **두 LLM 에이전트가 협력적으로 가설-검증 루프를 수행**함으로써 가능하다. 하나는 환경에서 행동하고, 다른 하나는 **리플레이 버퍼를 기반으로 코드로 모델을 합성**하며, **모델 기반 계획**을 통해 검증한다. 이 과정에서 **ontology error**라는 측정법이 객체 타입의 설명력을 평가하고, 탐색 방향을 결정한다. 이는 기존 프로그램 합성 모델이 객체 분할을 일찍 고정해 오류를 반복하는 문제를 해결한다.

기술적 접근법

**두 LLM 에이전트**가 협력: 하나는 환경에서 행동, 하나는 코드로 모델 합성.
**리플레이 버퍼**를 공유하며, 모델이 기록된 전이를 정확히 재현해야만 채택됨.
**CEGIS (Counterexample-Guided Inductive Synthesis)**를 사용하여 모델을 반복적으로 개선.
**Bayesian ontology error**를 통해 객체 타입의 설명력을 평가하고 탐색을 유도.
**모델 기반 계획**을 통해 검증된 모델을 기반으로 목표까지 경로 탐색.
**ARC-AGI-3** 데이터셋에서 훈련 없이 25개 게임 중 20개, 183 레벨 중 160개 해결.

주요 결과

**ARC-AGI-3** 데이터셋에서 **25개 게임 중 20개**를 훈련 없이 해결.
**78.4%의 액션 효율성 점수** 달성 (인간 기준 대비).
프로그램 합성 및 신경망 기반 월드 모델은 **하나도 해결하지 못함**.
단일 에이전트 코딩 기반 기준 대비 **성능 상회**.

의의 및 한계

OPINE-World는 객체 중심 프로그래밍 월드 모델을 **온라인 학습**으로 구축하며, 기존 프로그램 합성과 모델 기반 강화 학습의 장점을 결합한 **새로운 접근법**을 제시한다. 특히, 객체 구조가 주어지지 않은 환경에서 유연한 추정이 가능하다는 점에서 학술적·실용적 가치가 있다. 그러나 **확률적이고 부분 관측 환경**, **원시 픽셀 인식** 환경으로의 확장은 아직 남아 있으며, 이는 향후 연구 주제로 제시된다.

실용적 활용

OPINE-World는 **자율 에이전트 개발**, **로봇 학습**, **게임 AI**, **지능형 시스템 설계** 등에서 활용 가능하다. 특히, **미지의 환경에서 적응적 학습**이 필요한 산업 현장에서 유용할 것으로 기대된다.