ThinkAct: Vision-Language-Action Reasoning via Reinforced Visual Latent Planning

Vision-language-action (VLA) reasoning tasks require agents to interpret multimodal instructions, perform long-horizon planning, and act adaptively in dynamic environments. Existing approaches typically train VLA models in an end-to-end fashion, directly mapping inputs to actions without explicit reasoning, which hinders their ability to plan over multiple steps or adapt to complex task variations. In this paper, we propose ThinkAct, a dual-system framework that bridges high-level reasoning with low-level action execution via reinforced visual latent planning. ThinkAct trains a multimodal LLM to generate embodied reasoning plans guided by reinforcing action-aligned visual rewards based on goal completion and trajectory consistency. These reasoning plans are compressed into a visual plan latent that conditions a downstream action model for robust action execution on target environments. Extensive experiments on embodied reasoning and robot manipulation benchmarks demonstrate that ThinkAct enables few-shot adaptation, long-horizon planning, and self-correction behaviors in complex embodied AI tasks.

한 줄 요약

ThinkAct는 강화 학습 기반의 시각 잠재 계획을 통해 시각-언어-행동(VLA) 추론을 구현하는 이중 시스템 프레임워크이다.

핵심 기여도

ThinkAct는 VLA 모델에서 고수준 추론과 저수준 행동 실행을 연결하는 이중 시스템 프레임워크를 제안.
시각 목표 완료와 궤적 일관성을 기반으로 행동 정렬된 강화 학습 보상(`r_goal`, `r_traj`)을 도입.
추론 단계를 시각 잠재 궤적으로 압축하여 다양한 환경에서의 행동 모델 적응을 가능하게 함.
LIBERO 데이터셋에서 84.4%의 성공률 달성 (N=75).

핵심 아이디어

ThinkAct는 기존의 단일 단계 VLA 모델이 다단계 계획과 복잡한 환경 적응에 약점을 보이는 문제를 해결하기 위해, 추론과 행동을 분리한 이중 시스템을 도입한다.
이 시스템은 다중 모달 LLM을 강화 학습을 통해 훈련하여, 시각 정보와 궤적 일관성을 기반으로 행동 정렬된 보상(`r_goal`, `r_traj`)을 생성하게 한다.
이를 통해 생성된 추론 계획은 시각 잠재 궤적(`visual plan latent`)로 압축되어, 실제 환경에서의 행동 실행 모델을 조건화한다.
이러한 구조는 단순한 입력-출력 매핑이 아닌, 구조화된 추론과 실행 사이의 연결을 강화하여, 장기적 계획과 자가 수정 능력을 가능하게 한다.

기술적 접근법

**모델 아키텍처**: 이중 시스템 구조 (High-level reasoning + Low-level action execution).
**강화 학습**: `r_goal` (목표 완료 기반)와 `r_traj` (궤적 일관성 기반)를 사용한 보상 함수.
**데이터셋**: Open X-Embodiment Dataset, LIBERO.
**하이퍼파라미터**: 추론 단계당 행동 수 `N`을 75로 설정 (성공률 84.4%).
**추론 압축**: 생성된 추론 단계를 시각 잠재 궤적으로 압축하여 행동 모델에 조건화.

주요 결과

LIBERO 데이터셋에서 `N=75`일 때 84.4%의 성공률 달성.
`r_traj` 제거 시 성능 83.7%로 하락 (N=100), `r_goal` 제거 시 84.0% (N=25).
QA 스타일 보상만 사용 시 SFT 기반 모델 대비 개선 폭 미미.
ThinkAct는 SFT 기반 모델 대비 장기적 계획, 자가 수정, 적은 샷 수에서의 적응 능력 향상.

의의 및 한계

ThinkAct는 VLA 모델에서 추론과 실행을 분리하고 연결하는 새로운 접근법을 제시하며, 실제 로봇 조작 및 몸으로 체험하는 AI 시스템 개발에 기여할 수 있다.
특히, `r_goal`과 `r_traj`를 통해 시각 정보를 기반으로 한 강화 학습을 적용함으로써, 기존의 단순한 QA 기반 보상에 의존하는 모델보다 더 복잡한 환경에서의 성능을 향상시켰다.
하지만, 추론 단계당 행동 수 `N`이 너무 작거나 크면 성능 저하가 발생하며, 이는 추론의 빈도와 계획의 일관성 사이의 균형을 맞추는 것이 중요함을 시사한다.

실용적 활용

ThinkAct는 로봇 조작, 증강현실(Augmented Reality) 보조 시스템, 자율 주행 등에서의 실시간 환경 적응과 장기적 계획 수행에 활용 가능하다.
특히, 몸으로 체험하는 AI 연구에서, ThinkAct는 몇 번의 샷만으로도 새로운 작업 환경에 적응하는 능력을 제공하여, 실제 물리적 환경에서의 AI 활용성을 높일 수 있다.