CausGround: Causal Interaction Grounding for Adaptive Embodied Planning

Multimodal large language models (MLLMs) show promising reasoning capabilities, but reliable physical interaction requires planning that accounts for when actions are executable and how they change the world. These preconditions and effects are environment-dependent and often not captured by MLLMs, making adaptation challenging. Yet existing approaches either require costly environment-specific training or rely on unstructured interaction experience that is difficult to reuse. Therefore, we introduce CausGround, a non-parametric causal interaction grounding framework that distills interaction experience into reusable action-centered causal knowledge. CausGround identifies action preconditions and effects and organizes them in a factorized world-state representation capturing object attributes and inter-object relations. At planning time, task-relevant causal dependencies are grounded in current observations to support backward reasoning over preconditions and forward reasoning over effects for action selection and multi-step planning. We evaluate CausGround on simulated high-level planning, interaction reasoning, and real-world robot manipulation. On adapted VirtualHome and RoboCasa benchmarks, CausGround improves vision-based high-level planning across MLLM backbones, increasing average task success from 24.9% to 53.3% on VirtualHome and closed-loop planning success from 43.0% to 57.0% on RoboCasa. On SWITCH, average interaction reasoning accuracy increases from 25.8% to 31.9%, indicating improved action selection, recovery, and verification. Moreover, real-world experiments show that CausGround reasons backward from MLLM-interpreted goals to derive executable high-level action sequences for sequential manipulation. These results demonstrate that reusable action preconditions and effects support long-horizon embodied planning across diverse environments without parameter updates.

한 줄 요약

CausGround는 환경별 상호작용 역학을 파라미터 업데이트 없이 계획에 적응시키는 인과 상호작용 기반 프레임워크로, 다양한 시뮬레이션 및 실제 환경에서 성능 향상이 입증되었다.

핵심 기여도

**CausGround**라는 비파라미트릭 인과 상호작용 기반 프레임워크를 제안하여, 환경별 상호작용 경험을 재사용 가능한 행동 중심 인과 지식으로 추출.
**factorized world-state representation**을 도입하여 객체 속성과 객체 간 관계를 통합적으로 표현.
**VirtualHome**에서 평균 작업 성공률을 24.9% → 53.3%, **RoboCasa**에서 폐루프 계획 성공률을 43.0% → 57.0%로 향상.
**SWITCH**에서 평균 상호작용 추론 정확도를 25.8% → 31.9%로 개선.

핵심 아이디어

기존의 MLLM 기반 계획 시스템은 환경별로 실행 가능한 행동의 전제 조건(preconditions)과 효과(effects)를 정확히 파악하지 못해, 환경 적응이 어렵고 반복적인 학습이 필요하다. CausGround는 이러한 문제를 해결하기 위해, 상호작용 경험을 행동 중심의 인과 지식으로 추출하고, 이를 **factorized world-state representation**이라는 공통 인터페이스를 통해 표현한다. 이는 객체 속성과 객체 간 관계를 동시에 포착하여, 현재 관측된 시각 정보와 연계할 수 있도록 한다.

CausGround는 **backward reasoning**을 통해 행동 실행 전 필요한 전제 조건을 추론하고, **forward reasoning**을 통해 행동 실행 후의 상태 변화를 예측함으로써, 파라미터 업데이트 없이도 다단계 계획을 가능하게 한다. 이는 기존의 비구조화된 경험 저장 방식과 달리, 인과적으로 의미 있는 정보만 추출하여 재사용 가능하게 만든다는 점에서 혁신적이다.

기술적 접근법

**CausGround**는 두 단계로 구성됨:

1. **Causal interaction knowledge construction**: 상호작용 경험에서 행동의 전제 조건과 효과를 추출.
2. **Task-grounded planning**: 현재 작업과 세계 상태에 따라 인과 지식을 적용하여 계획 생성.

**Factorized world-state representation**은 객체 속성과 객체 간 관계를 동시에 포착하는 공통 인터페이스.
**Frozen planner**를 사용하여 파라미터 업데이트 없이 계획 수행.
**Backward reasoning**과 **forward reasoning**을 통해 전제 조건과 효과를 각각 추론.

주요 결과

**VirtualHome**에서 평균 작업 성공률 24.9% → 53.3% (MLLM 기반 계획 대비 +28.4%)
**RoboCasa**에서 폐루프 계획 성공률 43.0% → 57.0% (+14.0%)
**SWITCH**에서 평균 상호작용 추론 정확도 25.8% → 31.9% (+6.1%)
실제 로봇 조작 실험에서 MLLM 해석된 목표 상태에서 실행 가능한 고수준 행동 시퀀스를 유도함.

의의 및 한계

CausGround는 MLLM 기반 계획 시스템의 환경 적응 문제를 해결하고, 파라미터 업데이트 없이도 재사용 가능한 인과 지식을 생성함으로써, 장기적 계획과 복잡한 상호작용을 가능하게 한다. 특히, **factorized world-state representation**은 객체 속성과 관계를 동시에 포착하여, 기존 시각 기반 계획 시스템의 한계를 보완한다.

하지만, CausGround는 상호작용 경험의 질에 크게 의존하며, 초기 경험 데이터가 부족하거나 불완전할 경우 인과 지식의 정확도가 저하될 수 있다. 또한, 현재는 시뮬레이션 및 특정 실제 환경에서만 평가되었기 때문에, 더 다양한 환경에서의 일반화 가능성은 추가 연구가 필요하다.

실용적 활용

CausGround는 로봇이 다양한 환경에서 반복 학습 없이도 실행 가능한 행동을 추론하고, 장기적 계획을 수행할 수 있도록 지원하므로, **가정용 로봇**, **공장 자동화**, **서비스 로봇** 등에서 실용적 활용이 가능하다. 특히, 시각 기반 작업 수행이 필요한 상황에서, MLLM과 결합하여 인지-물리적 상호작용을 효율적으로 처리할 수 있다.