In-Context World Modeling for Robotic Control

Modern Vision-Language-Action (VLA) models often fail to generalize to novel setups, such as altered camera viewpoints or robot morphologies, because they are typically conditioned only on current observations and language instructions. By ignoring the underlying system configuration as a variable, these models implicitly assume a fixed execution context encountered during training, necessitating data-intensive fine-tuning for any new environment. In this work, we introduce In-Context World Modeling (ICWM), a framework that treats system identification as an in-context adaptation problem. ICWM enables robot policies to autonomously infer essential system variables from a short history of self-generated, task-agnostic interactions. Unlike traditional In-Context Learning that uses demonstrations to specify what task to perform, ICWM leverages the context window to understand how the system operates. By processing these interactions before task execution, the model implicitly captures the world dynamics of the current system, enabling adaptation to novel configurations without parameter updates. Extensive experiments in simulation and on real-world robot platforms demonstrate that ICWM significantly outperforms standard VLA baselines on novel camera viewpoints.

한 줄 요약

ICWM은 로봇 제어에서 새로운 환경에 대한 적응을 가능하게 하는 컨텍스트 기반 시스템 모델링 프레임워크이다.

핵심 기여도

ICWM은 시스템 식별을 in-context adaptation 문제로 정의하여, 파라미터 업데이트 없이 새로운 설정에 적응 가능.
VLA 모델과 달리, ICWM은 과거 상호작용을 통해 시스템 동역학을 암묵적으로 학습.
실제 로봇 플랫폼과 시뮬레이션 환경에서 ICWM가 새로운 카메라 뷰포인트에서 기존 VLA 베이스라인보다 훨씬 높은 성능을 보임.
ICWM은 사용자 지시 없이, 태스크-아그노스 상호작용을 통해 시스템 변수를 추정.

핵심 아이디어

기존 VLA 모델은 현재 관측과 언어 지시만을 기반으로 하기 때문에, 카메라 뷰포인트나 로봇 형태가 달라지면 일반화가 어렵다. ICWM은 이 문제를 해결하기 위해, 시스템 식별을 in-context learning 문제로 재정의한다. 이는 곧, 로봇이 과거의 상호작용을 통해 현재 시스템의 동작 방식을 학습하도록 유도한다는 의미이다. ICWM은 컨텍스트 윈도우를 활용하여, "어떻게 시스템이 작동하는지"를 학습하는 데 집중한다. 이는 기존의 in-context learning이 "무엇을 해야 하는지"를 학습하는 것과 구별된다. 핵심 아이디어는, 파라미터 업데이트 없이도, 짧은 상호작용 기록을 통해 시스템 동역학을 암묵적으로 학습할 수 있다는 점이다.

기술적 접근법

ICWM은 Vision-Language-Action (VLA) 모델을 기반으로 구축.
컨텍스트 윈도우에 태스크-아그노스 상호작용을 입력으로 사용.
이 상호작용은 로봇이 자가 생성한 데이터로, 특정 작업과는 무관함.
모델은 이 데이터를 처리하여 시스템 변수를 추정하고, 이를 바탕으로 동역학을 학습.
파라미터 업데이트 없이, 학습된 모델이 새로운 설정에 자동으로 적응.

주요 결과

ICWM는 새로운 카메라 뷰포인트 환경에서 기존 VLA 베이스라인 대비 훨씬 높은 성능을 보임.
시뮬레이션과 실제 로봇 플랫폼에서 실험을 수행하여, ICWM의 일반화 능력을 입증.
파라미터 업데이트 없이도, 새로운 설정에 대한 성능 저하가 거의 없음.

의의 및 한계

ICWM은 로봇 제어 분야에서 새로운 환경에 대한 적응을 파라미터 업데이트 없이 가능하게 하므로, 데이터 집약적인 미세 조정을 줄이는 데 기여한다. 특히, 카메라 뷰포인트나 로봇 형태가 달라지는 상황에서 유용하다. 그러나 ICWM은 특정한 상호작용 데이터가 필요하며, 이 데이터가 충분히 다양한 경우에만 효과적일 수 있다. 또한, 초록에서는 ICWM의 태스크 수행 정확도나 속도에 대한 수치는 명시되지 않음.

실용적 활용

ICWM은 로봇이 새로운 환경에 자동으로 적응해야 하는 산업 현장, 예를 들어 제조, 물류, 서비스 로봇 분야에서 유용하게 활용될 수 있다. 특히, 카메라 뷰포인트나 로봇 형태가 자주 변경되는 상황에서, ICWM은 추가 훈련 없이도 로봇의 성능을 유지할 수 있다.