reinforcement-learning flow-matching rectified-flow visuomotor-control robotic-control generative-policies warmprior temporal-priors
Abstract
Generative policies based on diffusion and flow matching have become a dominant paradigm for visuomotor robotic control. We show that replacing the standard Gaussian source distribution with WarmPrior, a simple temporally grounded prior constructed from readily available recent action history, consistently improves success rates on robotic manipulation tasks. We trace this gain to markedly straighter probability paths, echoing the effect of optimal-transport couplings in Rectified Flow. Beyond standard behavior cloning, WarmPrior also reshapes the exploration distribution in prior-space reinforcement learning, improving both sample efficiency and final performance. Collectively, these results identify the source distribution as an important and underexplored design axis in generative robot control.
한국어 요약
📋 한 줄 요약
**[로봇 제어 · 생성 정책]** 디퓨전·플로우 매칭 정책의 표준 가우시안 소스를 최근 행동 이력으로 구성한 시간적 사전 WarmPrior로 교체해 직선화된 확률 경로와 일관된 성능 향상을 얻는다.
🎯 핵심 기여도
- 가우시안 소스 분포를 시간적 사전 WarmPrior(최근 행동 이력)로 교체하는 단순하지만 효과적인 설계 제안
- 로봇 조작 과제에서 다양한 생성 정책에 대해 성공률을 일관되게 향상시킴
- 성능 향상의 원인이 훨씬 더 직선적인 확률 경로에 있음을 추적 — Rectified Flow의 최적 수송 결합 효과와 부합
- 행동 복제 외에도 prior-space RL에서 탐색 분포를 재형성해 샘플 효율과 최종 성능을 함께 끌어올림
💡 핵심 아이디어
플로우 매칭의 소스 분포는 그동안 거의 관성적으로 가우시안이었지만, 로봇의 최근 행동 이력 같은 시간적 사전이 훨씬 더 짧고 직선적인 확률 경로를 만들어낸다.
🔬 기술적 접근법
- **모델/방법론**: 디퓨전·플로우 매칭 시각 운동 정책 위에 WarmPrior 소스 사전 적용
- **핵심 기법**: 최근 행동 이력으로부터 구성된 단순한 시간적 사전이 Rectified Flow 류의 최적 수송 결합과 유사한 효과를 발휘하도록 설계
📊 주요 결과
- 로봇 조작 과제에서 행동 복제 시 성공률 일관 향상
- prior-space 강화학습에서 샘플 효율과 최종 성능 동반 개선
- 성능 향상이 더 직선적인 확률 경로로 정량적으로 추적됨
💭 의의 및 한계
**의의**: 생성 로봇 제어의 설계 축으로서 "소스 분포"의 중요성을 부각시키고 단순하고 즉시 적용 가능한 처방을 제공한다. **한계**: 평가가 로봇 조작 과제에 집중되며 시간적 사전이 약한 도메인으로의 일반화는 후속 과제다.
🚀 실용적 활용
- 디퓨전·플로우 매칭 기반 로봇 정책의 즉시 적용 가능한 성능 부스터
- prior-space RL에서의 탐색 효율 향상
- 시각 운동 정책의 추론 단계 단축