TILDE: Teacher-in-the-Loop Distillation from Embodied Foundation Models

Large-scale action pretraining equips Embodied Foundation Models (EFMs) with strong manipulation capabilities, with particular strengths in generalization and closed-loop robustness, but reproducing such pretraining requires substantial robot data and computation. To transfer these capabilities from pretrained EFMs to policies without action pretraining, we introduce TILDE (Teacher-In-the-Loop Distillation from EFMs), which synergizes on-policy distillation at student-induced states with learning from teacher-executed recovery trajectories. We further propose AutoDAgger, an autonomous data aggregation pipeline in which a robotic reward model is utilized to monitor task progress and trigger teacher intervention, thereby collecting recovery experience without human monitoring or manual control. AutoDAgger accelerates recovery-trajectory collection by more than 2times compared with the human-in-the-loop method. By unifying learning from demonstrations, on-policy teacher supervision, and teacher's corrective behavior, TILDE improves task performance by up to 4.1times over behavior cloning across three real-world tasks and supports effective cross-architecture distillation.

한 줄 요약

TILDE는 AutoDAgger를 활용해 EFM의 강력한 제어 능력을 학습 없이 정책에 전이하는 정책 증류 프레임워크로, 실제 작업 성능을 최대 4.1배 향상시킨다.

핵심 기여도

TILDE는 오프라인 데모, 학습자 유도 롤아웃, 교사 복구 트레이젝토리의 세 가지 데이터 분포를 결합한 정책 증류 프레임워크를 제안.
AutoDAgger는 교사 정책이 직접 복구 트레이젝토리를 실행하며, 인간 모니터링 없이 복구 데이터를 2배 이상 빠르게 수집.
TILDE는 세 가지 실제 작업에서 행동 복제 대비 최대 4.1배 성능 향상.
이종 아키텍처 간의 능력 전이를 가능하게 함.

핵심 아이디어

TILDE는 기존 정책 증류가 고정된 데모 데이터에 의존하여 분포 외 상태를 학습하지 못하는 문제를 해결하기 위해, 학습자 유도 상태와 교사 실행 복구 트레이젝토리를 결합한다. 학습자 정책이 환경과 상호작용하면서 발생하는 상태에서 교사 정책이 행동을 지도하는 On-Policy Distillation(OPD)을 활용하며, 복잡한 상황에서 교사가 직접 복구를 수행하는 AutoDAgger 파이프라인을 도입한다. AutoDAgger는 로보틱스 보상 모델을 사용해 학습자 수행을 모니터링하고, 교사 개입을 자동으로 트리거함으로써 인간 개입 없이 복구 데이터를 효율적으로 수집한다. 이는 기존의 HG-DAgger와 비교해 2배 이상의 데이터 수집 속도를 제공하며, 정책 증류의 분포 외 일반화 문제를 완화한다.

기술적 접근법

**TILDE**: 오프라인 데모, 학습자 유도 롤아웃, 교사 복구 트레이젝토리의 세 가지 데이터 분포를 통합.
**AutoDAgger**: 로보틱스 보상 모델을 사용해 학습자 수행을 모니터링하고, 교사 정책이 직접 복구를 수행.
**On-Policy Distillation (OPD)**: 학습자 유도 상태에서 교사 정책의 행동을 지도.
**Behavior Cloning (BC)**: 데모 및 복구 트레이젝토리에서 실행된 행동을 복제.
**Knowledge Distillation**: 데모 및 복구 샘플에 대해 교사 정책의 내부 지식을 전이.
**Cross-architecture distillation**: 이종 아키텍처 간의 능력 전이 가능.
**Fine-grained success score**: 작업을 세부 단계로 분해하여 정량적으로 평가.

주요 결과

**Fold Dishcloth**: TILDE는 행동 복제 대비 4.1배 성능 향상.
**Pick Pen**: TILDE는 오프라인 증류 및 OPD 대비 2.3배 성능 향상.
**Pick Beverage**: TILDE는 오프라인 증류 대비 3.2배 성능 향상.
AutoDAgger는 HG-DAgger 대비 복구 데이터 수집 속도를 2배 이상 향상.
세 가지 실제 작업에서 TILDE는 행동 복제, 오프라인 증류, OPD를 모두 초과.

의의 및 한계

TILDE는 대규모 액션 사전 학습 없이도 EFM의 강력한 제어 능력을 정책에 전이할 수 있는 새로운 방법을 제시한다. AutoDAgger는 인간 모니터링 없이 복구 데이터를 효율적으로 수집함으로써, 정책 증류의 확장성과 실용성을 높인다. 특히, 이종 아키텍처 간의 능력 전이를 가능하게 함으로써, 다양한 효율적인 정책에 EFM의 능력을 이식할 수 있다. 그러나 TILDE는 교사 정책의 품질에 크게 의존하며, 교사 정책이 복잡한 상황에서 실패할 경우 학습자 정책의 성능이 저하될 수 있다. 또한, AutoDAgger는 로보틱스 보상 모델의 정확성에 따라 성능이 달라질 수 있다.

실용적 활용

TILDE는 로봇 제어, 자율 주행, 산업 자동화 등에서 기존의 대규모 액션 사전 학습 없이도 정책을 효율적으로 개선할 수 있는 방법으로 활용 가능하다. 특히, 새로운 정책 아키텍처에 EFM의 능력을 이식할 수 있어, 다양한 효율적인 모델 개발에 기여할 수 있다. AutoDAgger는 복구 데이터 수집 과정을 자동화함으로써, 로봇 학습의 비용과 시간을 절감할 수 있다.