RoboTALES: Learning Reasoning-Guided Robot Policies via Task-Aligned Simulated Futures

Pretrained video generative models are promising backbones for visuomotor control, but their imagined futures often drift from task intent and are not reliably action-conditional. As a result, these models can be difficult to use for planning or policy extraction. To address these limitations, we propose RoboTALES, a single-stage framework that learns task-aligned simulated futures and uses them to train robot policies. Our approach introduces two key innovations: (1) a hierarchical LLM-based planner that breaks complex tasks into a sequence of subgoals to guide the model's imagination; and (2) a VLM-based critic that evaluates these ``imagined'' futures and uses reward-based feedback to keep the model's internal representations focused on the goal. By anchoring the video generator in abstract reasoning, we produce temporally consistent rollouts and more coherent actions. We evaluate RoboTALES on diverse manipulation tasks from RoboCasa and LIBERO10, and show that our method consistently outperforms existing methods, especially in long-horizon tasks. Our code and models are publicly available at https://github.com/hananshafi/RoboTALES.

한 줄 요약

RoboTALES는 계층적 추론과 시뮬레이션 미래를 결합해 장기적 로봇 조작 성능을 향상시키는 단일 스테이지 프레임워크이다.

핵심 기여도

계층적 LLM 기반 플래너를 도입해 복잡한 작업을 서브목표로 분해하고, 이를 기반으로 시뮬레이션 미래를 생성.
VLM 기반 크리틱을 통해 생성된 미래를 언어 조건에 맞춰 평가하고, 보상 기반 피드백으로 내부 표현을 정제.
RoboCasa와 LIBERO10 데이터셋에서 장기적 작업 성능을 기존 방법 대비 48% (Pick-and-Place), 64% (Turning), 96% (Pressing)로 개선.
Stable Video Diffusion(SVD)을 기반으로 한 비디오 생성 모델과 1D Diffusion UNet 기반 액션 생성 모델을 통합.

핵심 아이디어

기존 비디오 생성 모델은 시각적 사실성에 집중해 작업 의도와 벗어난 미래를 생성하는 경향이 있다. RoboTALES는 이 문제를 해결하기 위해 LLM 기반 플래너와 VLM 기반 크리틱을 결합한 새로운 프레임워크를 제안한다. 플래너는 작업 지시문을 K개의 서브목표로 분해하고, 이 서브목표를 기반으로 비디오 생성 모델을 조건화해 구조화된 미래를 생성한다. 이후 VLM 크리틱은 생성된 미래가 작업 지시와 얼마나 일치하는지를 평가하고, 이 평가를 기반으로 비디오 생성 모델의 내부 표현을 정제한다. 이는 단순히 시각적 사실성을 넘어 작업 의도와 일치하는 미래를 생성하는 데 기여한다.

기술적 접근법

**LLM Planner (ℱₚ)**: 강력한 LLM을 사용해 작업 지시문을 K개 (K ∈ [2,5])의 서브목표로 분해.
**Video Generator (𝒢ₜₕ)**: Stable Video Diffusion(SVD)을 기반으로, 현재 상태와 플래너 출력을 조건으로 미래 프레임 Δ개를 생성.
**VLM Critic (ℱᵣ)**: 언어-비주얼 모델을 사용해 생성된 미래를 작업 지시와 비교, 보상 신호 r를 생성.
**Action Generator (πₚₕ)**: 1D Diffusion UNet 기반으로, 비디오 생성기의 잠재 표현을 조건으로 연속 액션 시퀀스를 생성.
**학습 방식**: VLM 크리틱의 보상 신호를 기반으로 VideoUNet의 내부 표현을 정제하는 미분 가능한 정책 최적화를 사용.

주요 결과

**RoboCasa**: Pick-and-Place 작업에서 평균 성공률 48% (기존 최고 기준 대비 개선).
**RoboCasa**: Turning 작업에서 평균 성공률 64%, Pressing 작업에서 96%.
**LIBERO10**: 장기적 작업에서 기존 방법 대비 높은 성공률과 시각적 변동에 대한 강건성 보임.
**비교 지표**: 시연 효율성, 장기적 작업 능력, 시각적 편차 내성 등에서 우수한 성능.

의의 및 한계

RoboTALES는 LLM 추론과 VLM 평가를 결합해 장기적 작업에서의 미래 시뮬레이션을 구조화하고 의미적으로 일관되게 만드는 데 성공했다. 특히, 기존 모델에서 흔한 미래 편차 문제를 줄이고, 정책의 일관성과 안정성을 향상시켰다. 그러나 현재 VLM 크리틱은 고정된 모델로, 세부 작업 진행 신호나 물리적 가능성과 같은 더 정교한 피드백을 제공하지 못한다는 한계가 있다. 또한, 학습 과정에서 플래너와 크리틱 간의 상호작용이 복잡해져, 추가적인 최적화가 필요할 수 있다.

실용적 활용

RoboTALES는 장기적 작업이 필요한 산업 로봇, 가정용 서비스 로봇, 물류 시스템 등에 적용 가능하다. 특히, 복잡한 작업 지시를 자연어로 받아 이를 구조화된 서브목표로 분해하고, 이를 기반으로 정확한 액션을 생성하는 능력이 유용하다. 또한, 시각적 편차에 강한 정책은 실시간 환경 변화에 대응하는 데도 활용될 수 있다.