Object-Centric Residual RL for Zero-Shot Sim-to-Real VLA Enhancement

Vision-Language-Action (VLA) models can generalize across diverse manipulation tasks, but their imitation-learning-based policies remain brittle in precise physical interactions due to compounding execution errors; Can a reinforcement learning policy trained purely in simulation improve the robustness of real-world VLAs zero-shot? Residual RL, which learns a corrective policy on top of a frozen VLA, offers a natural framework, but existing approaches face a fundamental sim-to-real dilemma: privileged-state methods require lossy distillation for deployment; image-based methods suffer from the visual domain gap; and real-world RL is costly and unsafe. We propose an object-centric residual RL framework that refines VLA actions using object poses, enabling a compact observation space that transfers consistently between simulation and reality. To align the two domains, we additionally replay the same teleoperation demonstrations in simulation to train a sim counterpart of the real-world VLA. The residual RL policy is trained only in simulation with pose noise injection and dropout, and transfers zero-shot to the real robot. Across five manipulation tasks on a real Franka Research 3 (FR3) robot, our method improves the success rate from 42% to 76% zero-shot, and the improved rollouts can be further reused to retrain the base VLA for self-improvement without additional teleoperation. Project page: https://www.microsoft.com/en-us/research/articles/object-centric-residual-rl/

한 줄 요약

Zero-shot 방식으로 시뮬레이션에서 학습한 residual RL 정책을 실제 로봇에 적용하여 VLA 성능을 42%에서 76%까지 향상시킨다.

핵심 기여도

객체 중심 관찰 공간(6-DoF 객체 포즈, 프로피오셉션, VLA 액션)을 사용한 residual RL 정책을 제안하여 시뮬레이션-실제 전이 문제를 해결.
시뮬레이션에서 학습한 residual 정책을 실제 로봇에 zero-shot으로 전이하여 5개 조작 작업에서 성공률 42% → 76% 향상.
residual 정책을 통해 수집된 성공한 rollout 데이터를 사용하여 VLA를 재학습하여 자가 개선(self-improvement) 가능.
distillation이나 실제 환경 RL 없이도 정책 전이 가능.

핵심 아이디어

기존 residual RL은 시뮬레이션에서 학습한 정책을 실제 로봇에 전이할 때 시각 도메인 간 격차나 distillation 과정에서 성능 손실이 발생했다. 본 연구는 객체 중심 관찰 공간을 도입하여 이 문제를 해결한다. 객체 중심 관찰 공간은 6-DoF 객체 포즈, 프로피오셉션, VLA 액션으로 구성되며, 시뮬레이션과 실제 환경에서 모두 동일하게 추출 가능하다. 이는 시각 렌더링 없이도 관찰 공간의 일관성을 유지할 수 있음을 의미한다. 또한, 시뮬레이션에서 동일한 teleoperation 데이터를 재현하여 VLA의 액션 분포를 정렬함으로써 residual 정책의 전이성을 높인다. 이 접근법은 distillation 없이도 zero-shot 전이가 가능하며, 실제 환경에서의 RL 학습도 필요 없다는 점에서 혁신적이다.

기술적 접근법

**관찰 공간 구성**: 6-DoF 객체 포즈, 프로피오셉션, VLA 액션.
**Residual 정책 학습**: 시뮬레이션 내에서 pose noise injection과 dropout을 사용하여 robustness 훈련.
**Sim VLA 학습**: 실제 VLA와 동일한 teleoperation rollout을 시뮬레이션에서 재현하여 액션 분포 정렬.
**액션 결합**: VLA 액션과 residual 액션을 per-component 방식으로 결합 (위치 및 그리퍼는 덧셈, 회전은 쿼터니언 곱셈).
**Zero-shot 전이**: 학습된 residual 정책은 distillation 없이 실제 로봇에 바로 적용.

주요 결과

**FR3 로봇 5개 작업에서 성공률 향상**: 42% → 76% (zero-shot).
**작업 완료 시간 감소**: 9% ~ 22% 단축.
**자가 개선(self-improvement)**: residual-corrected rollout을 사용하여 VLA 재학습 가능, 추가 teleoperation 없이도 성능 향상.

의의 및 한계

본 연구는 시뮬레이션에서 학습한 residual 정책을 실제 로봇에 zero-shot으로 전이하는 새로운 패러다임을 제시한다. 기존 방법들은 distillation, image-based 관찰, 또는 실제 환경 RL을 필요로 했으나, 본 연구는 객체 중심 관찰 공간을 통해 이 문제를 우회하였다. 이는 VLA의 일반화 능력과 RL의 정밀한 보정 능력을 결합한 실용적인 접근법을 제시한다. 그러나 객체 포즈 추정이 필요한 점, 그리고 특정 작업에만 제한된 실험 결과라는 한계가 있다. 또한, 객체 포즈 추정기의 정확도가 최종 성능에 영향을 줄 수 있다.

실용적 활용

본 연구는 로봇 조작 분야에서 시뮬레이션 기반 학습을 실제 환경으로 확장하는 데 유용하다. 특히, 실제 환경에서의 학습 비용과 위험성을 줄이며, 다양한 작업에 걸쳐 로봇 정책을 자가 개선할 수 있는 기반을 제공한다. 산업 현장에서의 로봇 자동화, 서비스 로봇, 물류 시스템 등에 적용 가능하다.