Act with Intent: Distilling Behavior Intent for Vision-Language-Action Models

Vision-Language-Action (VLA) models can turn multimodal context into robot actions, but their action decoders are still trained largely by behavior cloning. This supervises which motor command was demonstrated while leaving implicit the local objective served by the behavior under the instruction. Future-based supervision enriches action learning with frames, latent observations, trajectories, or motion representations, but these signals capture particular realizations of what may happen rather than the shared semantic objective of the forthcoming behavior. We propose Intention Distillation (INDI), which distills behavior-level intent into the action decoder. During training, a frozen teacher VLM interprets a demonstrated segment from the current observation, instruction, coarse action summary, and corresponding execution video. From its standard inputs, the deployed VLA recovers the resulting multimodal intent representation at an intermediate decoder layer and uses it to organize action prediction together with representations of how the behavior unfolds and what it achieves. On SimplerEnv-Bridge, INDI improves GR00T-N1.7 from 64.3% to 84.7%, and on RoboCasa Kitchen it improves the controlled GR00T-N1.7 baseline from 64.1% to 70.3%, with consistent gains on π_{0.5} across both benchmarks. In real-world tasks, INDI improves average success from 62.0% to 68.7%, with gains of up to 12.0 pp on longer-horizon tasks. Further analyses show that the recovered latent is used by the decoder, captures behavior objective and execution progress, and organizes downstream predictions in an objective-dependent manner. These results show that action decoders benefit from explicitly modeling the semantic objective of the behavior they generate.

한 줄 요약

INDI는 VLA 모델의 액션 디코더에 행동 수준의 의도를 증류하여 성능과 일반화 능력을 향상시킨다.

핵심 기여도

행동 수준의 의도(intent)를 VLA 디코더에 증류하는 새로운 감독 방식(INDI)을 제안.
SimplerEnv-Bridge에서 GR00T-N1.7의 성공률을 64.3% → 84.7%로 20.4pp 향상.
RoboCasa Kitchen에서 64.1% → 70.3%로 6.2pp 향상.
실제 세계 작업에서 평균 성공률 62.0% → 68.7%로 6.7pp 향상, 최대 12.0pp 개선.

핵심 아이디어

기존 VLA 모델은 액션 디코더를 행동 복제(behavior cloning)로 훈련하며, 행동의 목적을 명시하지 않는다. 이는 디코더가 단순히 어떤 액션을 해야 하는지 배우지만, 그 액션이 어떤 목표를 달성하는지 이해하지 못하게 만든다. INDI는 이 문제를 해결하기 위해, 실행된 행동의 의미적 목적(intent)을 디코더에 증류(distill)하는 방법을 제안한다.

INDI는 훈련 시, 고정된 교사 VLM(teacher VLM)이 현재 관측, 지시, 액션 요약, 실행 영상으로부터 행동의 의도를 해석한다. 이 해석 결과는 디코더가 입력으로 받은 관측, 지시, 고유 감각 상태(proprioception)로부터 복구(recover)하여, 액션 예측의 중간 의미 상태(intermediate semantic state)로 활용된다. 이는 단순히 미래 상태나 운동을 예측하는 future-based supervision과 구별된다.

INDI는 세 가지 주요 구성 요소로 이루어진다: (1) 실행된 행동으로부터 의도 추출, (2) 디코더 내 의도 복구, (3) 의도 기반의 액션 및 정착 예측. 이 방식은 디코더가 행동의 목적과 진행도를 캡처하고, 이를 기반으로 예측을 조직화하게 만든다.

기술적 접근법

**INDI 구성 요소**:
**의도 추출**: 교사 VLM이 실행된 행동의 목적, 객체 변화, 관계 변화 등을 해석.
**의도 복구**: 디코더가 중간 레이어에서 교사의 의도 표현을 복구.
**의도 기반 예측**: 복구된 의도가 액션 및 시각·언어 정착 예측에 활용됨.
**데이터셋**: SimplerEnv-Bridge, RoboCasa Kitchen, 실제 세계 작업.
**모델**: GR00T-N1.7 기반.
**성능 지표**: 성공률(success rate), π₀.₅ (부분 성공률).
**하이퍼파라미터**: 교사 VLM은 훈련되지 않으며, 디코더는 표준 입력으로부터 의도를 복구하도록 학습됨.

주요 결과

**SimplerEnv-Bridge**: GR00T-N1.7 기반에서 64.3% → 84.7% (20.4pp 향상).
**RoboCasa Kitchen**: 64.1% → 70.3% (6.2pp 향상), π₀.₅ 34.9% → 41.4% (6.5pp 향상).
**실제 세계 작업**: 평균 성공률 62.0% → 68.7% (6.7pp 향상), 최대 12.0pp 개선.
**Cross-Bin Stacking**: 74.0% → 80.0% (6.0pp), Drawer Storage: 24.0% → 36.0% (12.0pp).

의의 및 한계

INDI는 VLA 디코더가 행동의 의미적 목적을 명시적으로 모델링함으로써, 액션 예측의 일관성과 장기적 실행 능력을 향상시킨다. 특히, 다단계 작업에서의 성능 향상이 두드러지며, 이는 단순히 미래 상태나 운동을 예측하는 future-based supervision과 구별된다.

한계로는, 교사 VLM이 훈련되지 않기 때문에, 교사의 해석이 정확하지 않거나 제한적일 경우, 디코더의 성능이 저하될 수 있다. 또한, 의도 복구 과정에서 복잡한 의미 표현을 정확히 전달하는 것이 기술적으로 도전적일 수 있다.

실용적 활용

INDI는 로봇 제어, 자율 시스템, 인간-로봇 상호작용 등에서 유용하게 활용될 수 있다. 특히, 다단계 작업 수행, 환경 변화에 대한 일반화, 복잡한 지시에 따른 행동 실행 등에 적합하다.