AGWM: Affordance-Grounded World Models for Environments with Compositional Prerequisites

In model-based learning, the agent learns behaviors by simulating trajectories based on world model predictions. Standard world models typically learn a stationary transition function that maps states and actions to next states, when an action and an outcome frequently co-occur in training data, the model tends to internalize this correlation as a general causal rule while ignoring action preconditions. In interactive environments, however, agent actions can reshape the future affordance space. At each timestep, an action may becomes executable only after its prerequisites are met, or non-executable when they are destroyed. We term such events structure-changing events (SC events). As a result, a conventional world model often fails to determine whether a given action is executable in the current state, especially in multi-step predictions. Each imagined step is conditioned on an incorrect affordance state, and therefore the prediction error compounds over the rollout horizon. In this paper, we propose AGWM (Affordance-Grounded World Model), which learns an abstract affordance structure represented as a DAG of prerequisite dependencies to explicitly track the dynamic executability of actions. Experiments on game-based simulated environments demonstrate the effectiveness of our method by achieving lower multi-step prediction error, better generalization to novel configurations, and improved interpretability.

📋 한 줄 요약

**[모델 기반 RL · 월드 모델]** 행동의 전제조건을 DAG 형태의 추상적 어포던스 구조로 명시 학습하는 AGWM을 제안해, 다단계 예측 오차와 새로운 구성으로의 일반화·해석 가능성을 동시에 개선했다.

🎯 핵심 기여도

행동 실행 가능성을 명시 추적하는 어포던스 기반 월드 모델 AGWM 제안
전제조건 의존성을 DAG로 형식화하여 구조 변경 이벤트(SC events) 모델링
다단계 롤아웃에서 발생하는 오차 누적 문제를 어포던스 정합성으로 완화
새로운 구성에 대한 일반화와 해석 가능성 향상 입증

💡 핵심 아이디어

기존 월드 모델은 정상 전이 함수를 학습해 행동-결과의 상관을 일반 인과 규칙으로 내재화하지만, 상호작용 환경에서는 행동이 어포던스 공간 자체를 재편한다. AGWM은 어떤 행동이 언제 실행 가능해지고 무효가 되는지를 전제조건의 DAG로 명시 추적해 다단계 예측을 개선한다.

🔬 기술적 접근법

**모델/방법론**: AGWM(Affordance-Grounded World Model) — 추상적 어포던스 구조(DAG of prerequisites)와 동적 실행가능성 추적기를 결합한 월드 모델
**핵심 기법**: 구조 변경 이벤트(SC events)의 모델링, 전제조건 의존성을 DAG로 학습해 매 단계 행동의 실행가능성을 정합적으로 갱신

📊 주요 결과

게임 기반 시뮬레이션 환경 실험에서 다단계 예측 오차 감소
새로운 구성(novel configurations)으로의 일반화 성능 향상
어포던스 DAG를 통한 해석 가능성 향상
표준 월드 모델 대비 어포던스 무시로 인한 누적 오류 완화 확인

💭 의의 및 한계

**의의**: 행동의 전제조건을 명시적으로 다루는 구조적 귀납 편향을 월드 모델에 도입해 상호작용 환경에서의 실용성과 해석성을 동시에 끌어올린다. **한계**: DAG 구조 학습이 환경별 사전지식·데이터 품질에 민감할 수 있고, 실험이 게임 기반 시뮬레이션에 한정되어 실제 로봇·연속 환경 확장성 검증이 추가로 요구된다.

🚀 실용적 활용

게임 AI 및 절차적 환경에서의 모델 기반 의사결정
도구 사용 로봇의 전제조건 기반 행동 계획
어포던스 그래프로부터 정책 결정 과정을 설명하는 해석 가능 RL