Self-Distilling Future Video Representations for World Action Models

World Action Models (WAMs) have emerged as a promising approach to learning generalist robot policies using rich spatiotemporal priors from pre-trained video diffusion models. A recent line of WAMs improves inference efficiency by conditioning a separate action decoder on intermediate future video representations extracted from a single denoising step, avoiding costly iterative denoising required for video generation. This design makes action prediction depend directly on the quality of these future representations. In this paper, we introduce Future REpresentation learning via self-Distillation with temporal context (FRED), a framework that trains WAMs to improve the quality of future video representations from noise in a single denoising step. Specifically, FRED uses self-distillation to predict future representations from noise, using representations extracted from ground-truth future observations as targets. We further condition the video model on historical observations, providing temporal context for predicting future representations better. Across diverse real-world manipulation scenarios, FRED consistently outperforms competing WAMs. It achieves particularly large gains on long-horizon and out-of-domain tasks under zero-shot environment generalization, and substantially improves human-to-robot skill transfer, reaching 50.0% task success on tasks absent from robot training data and demonstrated only in human videos, compared with 19.4% for the best competing WAM.

한 줄 요약

FRED는 단일 디노이징 단계에서 미래 비디오 표현을 학습해 로봇 제어 성능을 향상시키는 새로운 월드 액션 모델 학습 프레임워크이다.

핵심 기여도

FRED는 미래 비디오 표현을 학습하는 데 자기 교사 학습(self-distillation)을 도입하여, 노이즈에서 추출한 표현을 정답 미래 관측 표현과 정렬한다.
과거 관측 데이터를 조건으로 사용해 시간적 맥락을 제공함으로써 미래 표현의 품질을 개선한다.
RoboCasa Kitchen, GR-1 Tabletop, LIBERO 등 다양한 실제 로봇 조작 환경에서 기존 WAM 대비 68.8%의 성공률을 달성한다.
인간 동영상에서 학습한 기술을 로봇으로 전이할 때 50.0%의 성공률을 달성해 기존 최고 WAM 대비 30.6%P 개선한다.

핵심 아이디어

FRED는 기존 월드 액션 모델(WAM)에서 미래 비디오 표현을 단일 디노이징 단계에서 추출하는 방식을 활용하지만, 이 표현의 품질이 액션 예측에 직접적으로 영향을 미친다는 점을 문제로 삼는다. 이에 따라, FRED는 미래 표현 학습을 위해 자기 교사 학습(self-distillation)을 도입한다. 구체적으로, 노이즈에서 생성된 미래 표현을 정답 미래 관측 표현과 정렬하도록 학습하며, 이 과정에서 EMA(지수 이동 평균) 기반의 모멘텀 티처(momentum teacher)를 사용한다. 또한, 과거 관측 데이터를 조건으로 추가해 시간적 맥락을 제공함으로써 미래 표현의 품질을 향상시킨다. 이는 미래 표현의 품질이 로봇 제어 성능과 강한 상관관계(r=0.89)를 갖는다는 실험 결과를 바탕으로 설계되었다.

기술적 접근법

**FRED 프레임워크**: 미래 표현 학습을 위해 자기 교사 학습(self-distillation)을 사용하며, 정답 미래 관측 표현을 타겟으로 삼는다.
**모멘텀 티처**: EMA(Exponential Moving Average) 기반의 모델로, 미래 표현을 추출하는 데 사용된다.
**과거 관측 조건**: 미래 예측을 위한 시간적 맥락을 제공하기 위해 과거 관측 데이터를 조건으로 추가한다.
**VDM(Video Diffusion Model)**: 미래 표현을 생성하는 데 사용되며, 단일 디노이징 단계에서 추출된 중간 표현(hidden states)을 액션 디코더에 조건으로 전달한다.
**하이퍼파라미터**: self-distillation 손실 계수 λ_SD = 0.01, teacher 노이즈 수준 τ = 0.25, 표현 추출 레이어 인덱스 18이 가장 효과적임을 실험적으로 확인한다.

주요 결과

**RoboCasa Kitchen**: FRED는 68.8%의 성공률을 달성해 기존 WAM(DiT4DiT) 대비 7.4%P 개선한다.
**GR-1 Tabletop**: 54.8%의 성공률을 달성해 기존 50.4% 대비 4.4%P 개선한다.
**LIBERO**: 98.2%의 성공률을 달성해 기존 97.4% 대비 0.8%P 개선한다.
**인간-로봇 기술 전이**: FRED는 인간 동영상만으로 학습한 기술을 로봇에 전이할 때 50.0%의 성공률을 달성해 기존 최고 WAM 대비 30.6%P 개선한다.
**추가 실험**: 미래 표현 품질과 로봇 제어 성능 간 상관관계(r=0.89)가 높아, 표현 품질 향상이 제어 성능 향상에 직접적으로 기여함을 입증한다.

의의 및 한계

FRED는 미래 표현 학습을 통해 로봇 제어 성능을 향상시키는 새로운 접근법을 제시하며, 특히 단일 디노이징 단계에서 미래 표현을 생성하는 방식을 통해 추론 속도를 개선한다. 또한, 인간 동영상에서 학습한 기술을 로봇으로 전이하는 데 성공해, 실제 응용 가능성과 일반화 능력을 입증한다. 그러나 FRED는 미래 표현의 품질이 액션 디코더에 직접적으로 의존하기 때문에, 표현 생성 모델(VDM)의 품질에 따라 성능이 변동할 수 있다. 또한, 실험은 특정 로봇 환경에 국한되어 있어, 더 다양한 환경에서의 일반화 능력을 추가 검증해야 한다.

실용적 활용

FRED는 로봇이 단일 디노이징 단계에서 미래 표현을 생성해 액션을 예측하는 방식을 통해, 실시간 제어를 요구하는 산업 현장에서 유용하게 활용될 수 있다. 또한, 인간 동영상에서 학습한 기술을 로봇으로 전이할 수 있어, 로봇 교육 및 기술 전이 분야에서 실용적 가치가 높다.