Reflex: Visually Grounded Reactive Humanoid Control

Humans effortlessly react to the world; they adeptly return a tennis shot, catch a falling cup, step aside from a passing cart, or pass a box tossed during truck unloading. These everyday actions require anticipating a moving target and reflexively responding with the whole body within about a second. Such visual reactive whole-body control remains challenging for humanoids, which must (1) coordinate whole-body control, (2) react to object dynamics in real time, and (3) ground perception in egocentric vision. We study catching thrown boxes as a representative task that demands all three capabilities; existing systems cover only part of it, relying on end-effectors, motion capture, or marked objects. We present Reflex, a three-stage framework that learns these capabilities stage by stage while connecting them through a compact representation of object dynamics. First, a state-based policy learns whole-body catching with reinforcement learning. Second, the policy learns to infer the dynamics of a moving box from delayed and incomplete observations. Third, an egocentric RGB-D encoder learns to recover this dynamics representation directly from visual observations while keeping the whole-body controller fixed. This decomposition provides each capability with a direct training signal and makes visual learning substantially more scalable. In simulation, Reflex achieves 85.7% catch success from egocentric RGB-D, compared with 87.9% when given privileged box observations. Temporal visual history is critical: removing it reduces success by 35.6 and 39.8 points on centered and laterally offset throws. On a real Unitree G1, Reflex catches human-thrown boxes with 65% and 40% success at 2.5 and 5 m, reaching 76% and 59% of human catchers' success at the same distances.

한 줄 요약

Reflex는 시각 기반 반사적 인간형 로봇 제어를 위한 3단계 학습 프레임워크로, 시뮬레이션에서 85.7%의 포물선 물체 포착 성공률을 달성한다.

핵심 기여도

3단계 학습 프레임워크(Stage 1~3)를 통해 시각 기반 반사적 제어를 구현.
Stage 1에서 강화학습을 사용한 전체 신체 포착 정책 학습 (성공률 87.9%).
Stage 3에서 RGB-D 카메라 입력으로 85.7% 포착 성공률 달성.
실제 Unitree G1 로봇에서 2.5m 거리에서 65% 포착 성공률 기록.

핵심 아이디어

Reflex는 인간형 로봇이 시각 정보를 기반으로 1초 이내에 반사적으로 반응할 수 있도록 설계되었다. 기존 시스템은 종종 특정 조건(예: 마커, 모션 캡처)에 의존했으나, Reflex는 3단계 학습을 통해 (1) 전체 신체 제어, (2) 물체 역학 추론, (3) 시각 기반 인식을 단계적으로 학습한다. 특히, Stage 2에서 지연되고 불완전한 관측에서도 물체 역학을 추론하도록 정책을 학습시키고, Stage 3에서는 고정된 전체 신체 제어기와 결합하여 RGB-D 카메라 입력으로 역학 정보를 복원한다. 이는 각 단계에 명확한 학습 신호를 제공하며, 시각 학습의 확장성을 높인다.

기술적 접근법

**Stage 1**: 강화학습을 사용한 state-based policy 학습.
**Stage 2**: 지연되고 불완전한 관측으로 물체 역학 추론.
**Stage 3**: 고정된 전체 신체 제어기와 결합한 RGB-D 인코더 학습.
**Encoder/Decoder**: PPO를 사용한 정책 학습.
**입력**: Stage 3에서는 RGB-D 카메라 입력, Stage 2에서는 물체 역학 정보.
**비교 실험**: BC initialization vs. state-initialized alternative.

주요 결과

**시뮬레이션**: RGB-D 입력에서 85.7% 포착 성공률 (물체 관측 기반 87.9% 대비 -2.2% 감소).
**시각 히스토리 제거 시**: 중심 및 측면 던짐에서 각각 35.6%, 39.8% 성능 하락.
**실제 Unitree G1**: 2.5m 거리에서 65% (인간 포착률 대비 76%), 5m 거리에서 40% (59%).

의의 및 한계

Reflex는 인간형 로봇의 반사적 행동을 구현하는 데 중요한 기초를 제공하며, 시각 기반 제어의 확장성을 증명한다. 특히, 3단계 학습 구조는 복잡한 역학 추론과 시각 인식을 결합하는 데 효과적이다. 그러나 실제 환경에서는 물체의 예측 불가능한 변형이나 주변 장애물에 대한 대응 능력이 한계일 수 있다. 또한, 물체의 정확한 역학 추정이 성능에 큰 영향을 미치므로, 더 정밀한 인코더 개발이 필요하다.

실용적 활용

Reflex는 물류, 서비스 로봇, 산업 현장에서의 물체 포착 및 반응형 제어에 활용 가능하다. 특히, 인간과 협업하는 로봇 시스템에서 실시간 반응 능력을 향상시키는 데 유용하다.