libero real-robot-experiments generative-robot-policies asynchronous-replanning execution-aligned-noise d3il kinetix multimodal-consistency
Abstract
Continuous asynchronous replanning is essential for real-time generative robot policies, but independent stochastic initialization can cause mode switching and inconsistent continuation across action chunks. We propose Execution-Aligned Progressive Noise (EAPN), which introduces structured stochasticity at both inter-chunk and intra-chunk levels. Across replanning steps, EAPN propagates a shared noise trajectory and aligns it with the actual execution displacement, establishing execution-aligned inter-chunk correlation. Within each action chunk, it models temporal correlation along action time. The aligned stochastic history is further combined with committed action context to condition subsequent generation, allowing new chunks to continue from execution-consistent generative states rather than restart from independent noise. We evaluate EAPN on D3IL, Kinetix, LIBERO, and real-world manipulation tasks. EAPN improves multimodal behavior consistency on D3IL and achieves an average success rate of 88.59% on Kinetix. On LIBERO, it remains robust and maintains strong task performance even under long inference delays. Real-robot experiments further achieve 90.0% success on Object Storage and 96.7% on bimanual Cloth Folding, demonstrating reliable continuous execution under asynchronous replanning.
한국어 요약
한 줄 요약
EAPN은 비동기 재계획에서 일관성을 유지하기 위해 실행 경로와 정렬된 노이즈를 도입한 로봇 정책 기법이다.
핵심 기여도
- EAPN은 실행 경로와 정렬된 공유 노이즈 트레jectory를 도입하여 chunk 간 일관성을 확보함.
- D3IL에서 multimodal 행동 일관성을 개선함.
- Kinetix 데이터셋에서 평균 성공률 88.59% 달성.
- 실제 로봇 실험에서 Object Storage 90.0%, bimanual Cloth Folding 96.7% 성공률 기록.
핵심 아이디어
기존의 독립적인 노이즈 초기화는 chunk 간 모드 전환(mode switching)과 불일치를 유발한다. EAPN은 chunk 간 및 chunk 내부에서 구조화된 확률성을 도입하여 실행 경로와 정렬된 노이즈를 생성한다. 이는 inter-chunk 수준에서 공유 노이즈 트레jectory를 실행 이동(displacement)과 정렬함으로써 chunk 간 상관성을 확보하고, intra-chunk 수준에서는 시간에 따른 행동 상관성을 모델링한다. 이로 인해 새로운 chunk는 독립 노이즈에서 시작하는 것이 아니라 실행과 일관된 생성 상태에서 이어질 수 있다.
기술적 접근법
- EAPN은 inter-chunk 수준에서 실행 이동(displacement)과 정렬된 공유 노이즈 트레jectory를 전파함.
- intra-chunk 수준에서는 행동 시간(time)에 따른 상관성을 모델링함.
- aligned stochastic history와 committed action context를 결합하여 후속 생성을 조건부로 함.
- D3IL, Kinetix, LIBERO, 실제 조작 작업에서 평가됨.
주요 결과
- D3IL에서 multimodal 행동 일관성 개선 (구체적 수치 미제공).
- Kinetix에서 평균 성공률 88.59%.
- LIBERO에서 장시간 추론 지연에도 강력한 성과 유지.
- 실제 로봇 실험에서 Object Storage 90.0%, bimanual Cloth Folding 96.7% 성공률 달성.
의의 및 한계
EAPN은 비동기 재계획 환경에서 일관된 실행을 가능하게 하며, 실제 로봇 작업에서 높은 성공률을 보이는 실용적 가치를 가진다. 또한, chunk 간 및 내부의 상관성을 구조화하여 기존 문제를 해결하는 학술적 기여도 있다. 그러나, 특정 환경에서의 제한성이나 확장성에 대한 언급은 명시되지 않음.
실용적 활용
EAPN은 실시간 로봇 정책에서 비동기 재계획을 요구하는 산업 자동화, 서비스 로봇, 복잡한 조작 작업 등에 적용 가능하다. 특히, 장시간 지연 환경에서도 안정적인 성능을 유지하는 점에서 활용도가 높다.