CoT-VLA: Visual Chain-of-Thought Reasoning for Vision-Language-Action Models

Vision-language-action models (VLAs) have shown potential in leveraging pretrained vision-language models and diverse robot demonstrations for learning generalizable sensorimotor control. While this paradigm effectively utilizes large-scale data from both robotic and non-robotic sources, current VLAs primarily focus on direct input–output mappings, lacking the intermediate reasoning steps crucial for complex manipulation tasks. As a result, existing VLAs lack temporal planning or reasoning capabilities. In this paper, we introduce a method that incorporates explicit visual chain-of-thought (CoT) reasoning into vision-language-action models (VLAs) by predicting future image frames autoregressively as visual goals before generating a short action sequence to achieve these goals. We introduce CoT-VLA, a state-of-the-art 7B VLA that can understand and generate visual and action tokens. Our experimental results demonstrate that CoT-VLA achieves strong performance, outperforming the state-of-the-art VLA model by 17% in real-world manipulation tasks and 6% in simulation benchmarks. Videos are available at: https://cot-vla.github.io/.

한 줄 요약

CoT-VLA는 시각적 사고 과정을 통합한 7B 규모의 최신 VLA 모델로, 실제 조작 작업에서 기존 최고 모델 대비 17% 개선된 성능을 보인다.

핵심 기여도

CoT-VLA는 시각적 사고 과정(CoT)을 VLA에 통합한 첫 모델로, 중간 이미지 목표를 생성한 후 행동을 생성하는 방식을 도입.
하이브리드 어텐션 메커니즘을 도입하여 텍스트/이미지 생성에는 인과 어텐션, 행동 예측에는 전체 어텐션을 사용.
Open X-Embodiment와 action-less 비디오 데이터셋을 기반으로 학습, 실제 및 시뮬레이션 환경에서 17%와 6% 개선된 성능 달성.
행동 묶기(action chunking)를 통해 단일 시간 단계가 아닌 행동 시퀀스를 예측, 성능 향상에 기여.

핵심 아이디어

기존 VLA는 입력-출력 매핑에 집중하며, 복잡한 조작 작업에 필요한 중간 사고 과정을 누락하고 있다. CoT-VLA는 언어 모델에서 사용되는 사고 과정(CoT)을 시각-언어-행동 모델에 적용한 첫 사례로, 시각적 CoT를 도입한다. 이는 미래 이미지 프레임을 자동 회귀적으로 생성하여 시각 목표로 삼고, 이를 바탕으로 짧은 행동 시퀀스를 생성하는 방식이다. 이는 모델이 행동 전에 "시각적으로 사고"하도록 유도하며, 기존 시각-행동 매핑 방식에 비해 해석성과 성능을 동시에 향상시킨다.

또한, CoT-VLA는 행동 예측에 있어 단일 행동이 아닌 행동 묶기(action chunking)를 사용하여, 시간적으로 연속된 행동을 한 번에 예측함으로써 정확도를 높인다. 이는 최근 로봇 학습 연구에서 주목받는 방식으로, CoT-VLA에서 효과적으로 활용되었다.

기술적 접근법

**모델 아키텍처**: CoT-VLA는 7B 파라미터 규모의 VLA 모델로, 텍스트/이미지 생성에는 인과 어텐션, 행동 예측에는 전체 어텐션을 사용하는 하이브리드 어텐션 메커니즘을 채택.
**학습 데이터**: Open X-Embodiment 데이터셋과 action-less 비디오 데이터셋을 기반으로 학습.
**예측 방식**: 행동 묶기(action chunking)를 사용하여 단일 행동이 아닌 행동 시퀀스를 예측.
**CoT 구현**: 미래 이미지 프레임을 자동 회귀적으로 생성하여 시각 목표로 사용, 이를 바탕으로 행동을 생성.

주요 결과

**실제 조작 작업**: CoT-VLA는 기존 최고 VLA 모델 대비 17% 개선된 성능을 보임.
**시뮬레이션 벤치마크**: 6%의 성능 향상 기록.
**데이터셋**: Open X-Embodiment와 action-less 비디오 데이터셋을 활용한 학습이 성능 향상에 기여.
**모델 구조**: 하이브리드 어텐션과 행동 묶기(action chunking)가 성능 개선에 직접적으로 기여.

의의 및 한계

CoT-VLA는 VLA 모델에 시각적 사고 과정을 도입함으로써 복잡한 조작 작업의 해석성과 성능을 동시에 향상시킨다. 특히, 이미지 기반의 중간 사고 과정은 로봇 데이터셋에 이미 존재하는 정보를 활용하여 추가 전처리 없이도 효과적으로 사용할 수 있다. 이는 VLA의 일반화 능력과 실제 적용 가능성에 긍정적인 영향을 미친다.

그러나 CoT-VLA는 7B 파라미터 규모의 모델로, 대규모 컴퓨팅 자원이 필요하며, 실시간 처리에 어려움이 있을 수 있다. 또한, 특정 환경에 대한 데이터가 부족할 경우 성능 저하가 발생할 수 있으며, 이는 추후 연구에서 개선이 필요하다.

실용적 활용

CoT-VLA는 로봇이 복잡한 조작 작업을 수행할 때 시각적 사고 과정을 통해 더 정확하고 해석 가능한 행동을 생성할 수 있어, 산업 로봇, 서비스 로봇, 자율 주행 시스템 등에 적용 가능하다. 특히, 행동 묶기와 하이브리드 어텐션 구조는 다양한 로봇 플랫폼에서의 실시간 제어에도 유용할 수 있다.