πR^2: Reactive Real-time Flow Policies

Generalist manipulation policies increasingly take the form of action-chunking flow policies built on large pretrained backbones. Such chunks run open-loop, so the policy cannot react to sensory input arriving mid-execution, sacrificing reactivity. Replanning more often would restore it, but the perception-to-action pipeline (a large backbone plus multiple denoising steps) is too slow: this latency forbids frequent replanning and leaves committed actions stale, making such policies ill-suited for dynamic, closed-loop control. We present πR^2, which makes these policies reactive and real-time while retaining large backbones, expressive multi-modal policies, and multi-action prediction. Built on the per-position noise schedule of diffusion forcing, πR^2 contributes two ideas. First, it splits conditioning into a fast channel (proprioception, fresh every tick) and an asynchronously updated slow channel (vision-language features), so the policy reacts to proprioception within a chunk while tolerating stale vision. Second, a latency-adaptive flow schedule treats in-flight actions as inpainting conditioning and emits actions in one denoising step per call, letting one trained model adapt to varying hardware latency. Requiring minimal modification to existing architectures, πR^2 can be finetuned from a pretrained policy: applied to GR00T-N1.7 on a real xArm6+XHand platform, it replans closed-loop roughly 4times faster than the base policy (~25Hz on an A5000 GPU), acting on a fresh observation every 40ms. Across simulation and real-world manipulation tasks, πR^2 improves the success rate by up to 23% in simulation and 30% in the real world over the strongest baseline. Project page: https://pi-r2-flow.github.io/

한 줄 요약

πR²는 대규모 사전 학습된 백본을 유지하면서도 실시간 반응성을 확보한 흐름 정책 프레임워크이다.

핵심 기여도

비동기식 조건 분할을 통해 proprioception은 매 틱 갱신되고 vision-language feature는 비동기적으로 처리됨.
지연에 적응하는 흐름 일정(adaptive flow schedule)을 도입하여 단일 denoising 단계로 실시간 실행 가능.
GR00T-N1.7 모델에 적용 시, A5000 GPU에서 기존 정책 대비 약 4배 빠른 25Hz의 폐루프 replanning 성능 달성.
시뮬레이션 및 실제 환경에서 각각 최대 23%, 30%의 성공률 향상.

핵심 아이디어

기존의 흐름 정책(flow policy)은 action chunking 방식으로 다중 행동을 예측하지만, 이는 open-loop 실행으로 인해 중간 센서 입력에 반응하지 못하는 문제를 가진다. πR²는 diffusion forcing 기반의 per-position noise schedule을 활용하여 이 문제를 해결한다. 첫 번째 아이디어는 조건(conditioning)을 두 가지 채널로 분리하는 것이다: 빠른 채널(proprioception, 매 틱 갱신)과 느린 채널(vision-language features, 비동기 갱신). 이는 chunk 내부에서도 proprioception에 반응하면서도 vision 정보가 지연된 상태에서도 실행 가능하게 만든다. 두 번째 아이디어는 지연에 따라 적응하는 흐름 일정(latency-adaptive flow schedule)을 도입한 것으로, in-flight action을 inpainting 조건으로 사용하여 단일 denoising 단계로 행동을 생성함으로써 실시간 실행이 가능하다.

기술적 접근법

**Diffusion Forcing 기반**: per-position noise schedule을 사용하여 각 위치별 노이즈를 조절.
**비동기 조건 분할**: proprioception은 매 틱 갱신되는 fast channel, vision-language는 비동기적으로 갱신되는 slow channel.
**지연 적응 흐름 일정**: in-flight action을 inpainting 조건으로 활용, 단일 denoising step으로 행동 생성.
**하드웨어 독립적 실행**: A5000 GPU에서 25Hz (40ms 간격)로 fresh observation 기반 실행.
**사전 학습 정책 미세 조정**: GR00T-N1.7 모델에 적용, 기존 flow policy 대비 4배 빠른 replanning.

주요 결과

**성능 향상**: 시뮬레이션에서 최대 23%, 실제 환경에서 최대 30%의 성공률 향상.
**반응 속도**: GR00T-N1.7 기반 πR²는 A5000 GPU에서 폐루프 replanning 속도가 기존 정책 대비 약 4배 빠름 (25Hz, 40ms 간격).
**실험 태스크**: Don’t Spill, Tidy Up Book, Insert Box, Catch Book 등 4가지 태스크에서 평가.
**실험 수치**: 각 (method, task) 셀은 20회 시도, 30초 내 전체 작업 완료 여부로 성공률(SR) 측정.

의의 및 한계

πR²는 기존 흐름 정책의 open-loop 실행 문제를 해결하면서도, 대규모 사전 학습 백본과 다중 행동 예측 기능을 유지한다. 이는 실시간 반응이 필요한 동적 조작 작업에서 기존 정책보다 훨씬 유리하다. 특히, 비동기 처리와 지연 적응 흐름 일정을 통해 실제 하드웨어에서의 실행 가능성도 높였다. 그러나 이 접근법은 여전히 GPU 성능에 의존적이며, 저사양 장비에서는 지연이 발생할 수 있다. 또한, vision-language feature의 지연이 일정 범위 내에서만 허용되므로, 매우 빠른 시각 변화가 필요한 작업에는 한계가 있을 수 있다.

실용적 활용

πR²는 실제 로봇 플랫폼(xArm6+XHand)에서 즉각적인 반응이 필요한 조작 작업에 적용 가능하다. 특히, 물체의 미끄러움 대응, 비접촉 조작(non-prehensile), 빠른 물체 포착 등과 같은 동적 환경에서 유용하다. 또한, 사전 학습된 VLA 모델을 기반으로 미세 조정(finetuning)하여 빠르게 실용화할 수 있어, 산업용 로봇 제어 및 서비스 로봇 분야에서 활용 가능성이 크다.