RoboTTT: Context Scaling for Robot Policies

Recent robot foundation models operate with single-step or short-history visuomotor context. We introduce Test-Time-Training Robot Policies (RoboTTT), a robot model and training recipe that scale visuomotor context to 8K timesteps, three orders of magnitude beyond state-of-the-art policies, without growing inference latency. At this context length, we unlock new robot capabilities: one-shot in-context imitation from human video demonstrations, on-the-fly policy improvement, robustness to perturbations, and stronger performance on multi-stage, long-horizon tasks. We also observe, for the first time, steady gains in closed-loop performance as pretraining context length scales. At its core, RoboTTT integrates Test-Time Training into robot foundation models such as Vision-Language-Action policies, yielding a sequence model whose recurrent state consists of fast weights, parameters updated by gradient descent during both training and inference, compressing histories into weight space and retrieving contextual information for long-context conditioning. To scale training context length, the recipe combines sequence action forcing with truncated backpropagation through time. On challenging real-robot manipulation tasks, RoboTTT improves overall performance by 87% over the single-step context baseline and fully completes a five-minute, ten-stage assembly task, which no baseline ever does. RoboTTT trained with 8K-timestep context outperforms the same model pretrained with 1K timesteps by 62%, suggesting context length as a new scaling axis for robot foundation models. Videos are available at https://research.nvidia.com/labs/gear/robottt/

한 줄 요약

RoboTTT는 8K 타임스텝의 긴 컨텍스트를 처리하면서 추론 지연 없이 로봇 정책 성능을 87% 향상시키는 시퀀스 모델이다.

핵심 기여도

8K 타임스텝의 긴 컨텍스트를 처리하는 로봇 정책을 제안 (기존 정책 대비 3자리 수 배 길음).
Test-Time Training(TTT)과 fast weights를 결합하여, 컨텍스트 정보를 가중치 공간에 압축하고 추론 시 활용.
다단계, 장기적 작업에서 87% 성능 향상, 5분 10단계 조립 작업을 완료 (기존 기법 실패).
8K 타임스텝 학습 모델이 1K 타임스텝 모델 대비 62% 성능 향상.

핵심 아이디어

기존 로봇 정책은 단일 스텝 또는 짧은 히스토리만 처리하는 반면, RoboTTT는 Test-Time Training(TTT)을 도입하여 긴 컨텍스트를 학습 및 추론 시 모두 활용한다. 이는 fast weights라는 매개변수를 사용해, 히스토리 정보를 가중치 공간에 압축하고 필요 시 복원하는 방식이다. TTT는 훈련 중에도, 추론 중에도 경사 하강법으로 fast weights를 업데이트하여, 실시간 정책 개선과 즉석 모방 학습을 가능하게 한다. 특히, fast weights는 기존 slow weights와 달리 추론 시에도 업데이트되며, 이는 장기적 컨텍스트를 효율적으로 처리하는 핵심이다.

기술적 접근법

**모델 아키텍처**: VLM(비전-언어 모델)과 DiT(디퓨전 트랜스포머) 액션 헤드를 결합한 구조.
**TTT 레이어**: self-attention과 cross-attention 레이어 이후에 삽입.
**Fast weights**: 가중치 공간에 히스토리 정보를 압축.
**업데이트 방식**:
`update` 단계: 키-벨류 매핑을 학습하여 fast weights를 업데이트 (Eq. 1).
`apply` 단계: 업데이트된 fast weights로 출력 계산 (Eq. 2).
**Gating 메커니즘**: `tanh(α)`를 사용해 TTT 레이어의 기여도를 조절, 기존 모델의 성능 유지.
**학습 전략**: sequence action forcing + truncated backpropagation through time (TBPTT)를 결합해 긴 컨텍스트 학습 가능.

주요 결과

**Pup Go Car, Circuit, Gear Bot** 등 다단계 조립 작업에서 RoboTTT는 79%의 평균 작업 완료 점수 달성.
**단일 스텝 기반 GR00T N1.7 대비 87% 성능 향상** (42% → 79%).
**GDN 기반 베이스라인 대비 41% 향상** (56% → 79%).
**Gear Bot 작업에서 5분 10단계 작업을 완료** (기존 기법 실패).
**8K 타임스텝 학습 모델이 1K 타임스텝 모델 대비 62% 성능 향상** (42% → 79%).

의의 및 한계

RoboTTT는 로봇 기초 모델에서 컨텍스트 길이를 새로운 확장 축으로 제시하며, 장기적 히스토리 활용을 통해 정책의 유연성과 정확도를 높인다. 특히, 실시간 정책 개선과 즉석 모방 학습을 통해 인간 시연 영상 하나만으로도 작업을 수행하는 새로운 가능성을 열었다. 그러나, TTT 레이어의 추가는 모델 복잡도를 증가시키며, 특정 작업에서는 단순히 히스토리 길이만 늘리는 것보다 TTT의 효과가 더 크다는 점에서, 모델 설계에 대한 추가 연구가 필요하다.

실용적 활용

RoboTTT는 복잡한 다단계 조립, 장기적 작업 수행, 실시간 정책 개선이 필요한 산업 로봇 및 서비스 로봇 분야에 적용 가능하다. 특히, 인간 시연을 기반으로 한 즉석 모방 학습은 로봇의 유연한 작업 수행을 가능하게 하며, 산업 현장에서의 빠른 적응과 정확한 작업 수행에 기여할 수 있다.