Grounding Spatial Relations in a Compact World Model: Instruction Leakage and a Goal-Free Dynamics Fix

Compact world models that condition on a language goal promise to ground relations such as ``put the red block left of the blue block'' using a sparse set of explicit \emph{reference anchors}. We ask when such references actually ground a relation, and identify a trap: a goal-conditioned predictor reaches a striking $0.90$ relation-readout accuracy, yet this is \emph{instruction transcription}, not perception. Withholding the goal collapses it to chance ($0.90\!\to\!0.27$, three seeds) and a counterfactual instruction makes the predicted anchors follow the \emph{false} instruction $94.5\%$ of the time (true scene $2.3\%$; $N{=}256$). Tested across three settings and a within-task ablation, our central claim characterizes the confound: \textbf{instruction leakage occurs when the scored quantity is transcribable from the instruction (when the instruction names the answer) and is essentially independent of how predictive the non-instruction inputs are.} Our tabletop and the external BabyAI benchmark leak, whereas a Language-Table forward-dynamics world model whose instruction names \emph{referents} does not, until the instruction is augmented to name the direction; and degrading the action never increases leakage, the opposite of what predictor-competition predicts. The diagnosis prescribes the fix: keep the goal out of the dynamics (it belongs to the planner's cost) and supervise the \emph{read} path, recovering genuine, instruction-independent grounding ($0.88$, identical with and without the goal). The detection protocol and remedy apply to any goal-conditioned world model whose instruction names the scored quantity.

한 줄 요약

목표 조건부 월드 모델에서 명령어 누수를 진단하고, 동작 예측 경로에서 목표를 제거함으로써 진정한 관계 인식을 회복한다.

핵심 기여도

목표 조건부 월드 모델에서 관계 인식 성능(0.90)이 사실은 명령어 전사(transcription)에 기반함을 밝힘.
반사적 제어 실험에서, 목표를 제거하면 성능이 난수 수준(0.27)으로 급락함을 보임.
가짜 명령어를 주면 94.5%의 경우 모델이 허위 명령을 따르는 것으로, 명령어 누수가 명확함.
Language-Table 모델은 명령어가 관계가 아닌 참조 대상을 지칭할 경우 누수를 방지함.

핵심 아이디어

기존 월드 모델은 명령어 조건을 기반으로 관계를 인식한다고 주장하지만, 이는 사실 명령어를 단순히 전사하는 단기적 트릭일 수 있다. 연구는 명령어 누수(instruction leakage)를 정의하고, 이는 "점수화되는 양이 명령어에서 직접 전사 가능한 경우"에 발생하며, 이는 비명령어 입력(예: 동작, 상태)의 예측력과는 거의 무관하다고 주장한다. 이는 BabyAI 벤치마크와 자체 설계된 2D 테이블탑 환경에서 실험적으로 검증되었으며, Language-Table 모델은 명령어가 참조 대상(referent)을 지칭할 때 누수를 방지함을 보여준다. 핵심 통찰은: **월드 모델의 동작 예측 경로(dynamics)에서 목표를 제거하고, 참조 경로(read path)를 감독 학습하는 것이 진정한 관계 인식을 회복하는 방법**이다.

기술적 접근법

**JEPA**(Joint-Embedding Predictive Architecture)와 **reference anchors**를 사용한 월드 모델 구조.
**Language-Table** 모델: 명령어가 참조 대상을 지칭하는 forward-dynamics 기반 월드 모델.
**Goal-free dynamics**: 예측자(predictor)가 목표를 보지 않는 구조.
**Read path supervision**: 참조 점(anchor)을 감독 학습하여 관계를 독립적으로 인식하게 함.
**Counterfactual control**: 가짜 명령어를 주입하여 누수 여부를 테스트.
**Action-ablation**: 동작 정보를 저해해 누수 증가 여부를 측정.

주요 결과

목표 조건부 모델의 관계 인식 정확도는 0.90이지만, 이는 명령어 전사에 기반.
목표를 제거하면 정확도가 0.27로 난수 수준으로 감소 (N=256).
가짜 명령어 주입 시 94.5%의 경우 허위 명령을 따름 (참 관계는 2.3%).
Language-Table은 명령어가 관계가 아닌 참조 대상을 지칭할 경우 누수를 방지.
Goal-free dynamics + read path 감독 학습 모델은 0.88의 관계 인식 정확도를 달성 (목표 유무와 무관).

의의 및 한계

이 연구는 월드 모델 평가 시 명령어 누수를 진단하는 프로토콜과 이를 방지하는 아키텍처적 수정을 제시한다. 특히, **JEPA 기반 모델에서 관계 인식이 명령어 전사에 기반한다는 사실은 기존 연구의 오류를 지적**하며, 월드 모델 설계에 중요한 시사점을 제공한다. 그러나, **관계 인식은 분산 수준 이상의 모호성에서는 실패**하며, **동작 제어는 동작 예측의 정확도에 더 의존**한다는 한계가 있다. 이는 관계 인식이 분포 특화된 단서에 의존하고, 다단계 예측 및 동작 보정이 필요함을 시사한다.

실용적 활용

이 연구는 로봇 제어, 인공지능 플래너, 멀티모달 월드 모델 개발에 적용 가능하다. 특히, **명령어 조건이 모델 성능을 과대평가하는 경우를 방지하고, 진정한 관계 인식을 보장하는 설계 원칙을 제시**한다. 또한, **공개된 월드 모델의 누수 여부를 진단하는 프로토콜을 제공**하여, 모델 신뢰도를 향상시키는 데 기여할 수 있다.