WarpSAC: Towards the Pinnacle of Scalable Off-policy RL by Rethinking Exploration and Exploitation

Massively parallel simulation changes the data regime in which off-policy reinforcement learning (RL) is trained, challenging stabilizers designed for data-limited replay. Through controlled experiments across eight benchmark families, we show that these stabilizers are data-regime-dependent: parameter normalization helps with narrow replay coverage but restricts value fitting when data are abundant, while clipped double-Q can be relaxed in high-throughput manipulation. Age-biased replay weighting improves learning efficiency across regimes, especially with limited network capacity. Based on these findings, we propose WarpSAC, a regime-aware family of off-policy RL algorithms. WarpSAC uses Sample Weight Decay for efficient exploitation and provides two variants: WarpSAC-L (Norm ON, clipped double-Q) for data-limited CPU-scale training, and WarpSAC-A (Norm OFF, single-Q) for data-abundant GPU-parallel training. WarpSAC improves normalized score--step AUC over FlashSAC by 4.5% across nine CPU-scale environments and 23.1% across fourteen GPU-parallel environments. It increases UnitreeG1TransportBox-v1 success rate from 19.8% to 96.4%, improves mean normalized wall-time AUC on MuJoCo Playground by 19.1%, and achieves 36.4% faster sim-to-real deployment on Unitree G1 than FlashSAC. These results show that scalable off-policy RL should adapt its stabilizers to the available data regime.

한 줄 요약

WarpSAC는 데이터 규모에 따라 안정화 기법을 조정함으로써, 확장 가능한 오프-정책 강화학습의 성능을 4.5%~23.1% 개선하는 알고리즘 패밀리이다.

핵심 기여도

**데이터 규모에 따른 안정화 기법의 효과 분석**: 파라미터 정규화는 데이터가 적은 경우 유용하지만, 데이터가 풍부하면 가치 함수 학습을 제한함.
**WarpSAC-L 및 WarpSAC-A 제안**: CPU-scale 환경에서는 Norm ON, double-Q를 사용하는 WarpSAC-L, GPU-parallel 환경에서는 Norm OFF, single-Q를 사용하는 WarpSAC-A를 제안.
**성능 개선 수치**: CPU-scale 환경에서 4.5%, GPU-parallel 환경에서 23.1%의 AUC 개선. UnitreeG1TransportBox-v1 성공률은 19.8%에서 96.4%로 향상됨.

핵심 아이디어

기존 오프-정책 강화학습 알고리즘의 안정화 기법(예: 파라미터 정규화, 클리pped double-Q)은 데이터가 제한된 상황에서 설계되었다. 그러나 대규모 병렬 시뮬레이션 환경에서는 데이터가 풍부해지면서, 이들 기법이 오히려 성능을 저하시킬 수 있다. 예를 들어, 클리pped double-Q는 데이터가 풍부한 조작 환경에서는 과도한 보수성을 유발할 수 있으며, 파라미터 정규화는 가치 함수의 표현력을 제한한다.

이에 따라, 본 연구는 데이터 규모에 따라 안정화 기법을 조정하는 새로운 설계 원칙을 제안한다. 핵심 아이디어는 **Sample Weight Decay (SWD)**를 데이터 규모와 무관한 핵심 성분으로 사용하고, 나머지 안정화 기법(예: Norm, double-Q)은 데이터 규모에 따라 조정하는 것이다.

기술적 접근법

**Sample Weight Decay (SWD)**: 정책에 관련된 전이에 집중적으로 업데이트를 수행하는, 나이에 편향된 샘플러.
**WarpSAC-L**: CPU-scale 환경에서 사용. Norm ON, double-Q.
**WarpSAC-A**: GPU-parallel 환경에서 사용. Norm OFF, single-Q.
**기타 고정 요소**: 학습 백본, 최적화기, 네트워크 구조는 동일하게 유지.
**데이터셋**: DeepMind Control Suite, HumanoidBench, MuJoCo Playground 등 8개 벤치마크 패밀리, 총 67개 환경.

주요 결과

**CPU-scale 환경**: 9개 환경에서 WarpSAC는 FlashSAC 대비 **4.5%**의 AUC 개선.
**GPU-parallel 환경**: 14개 환경에서 **23.1%**의 AUC 개선.
**UnitreeG1TransportBox-v1**: 성공률 19.8% → 96.4% 향상.
**MuJoCo Playground**: 평균 정규화된 벽시 AUC 19.1% 향상.
**실제 세계 배포 시간**: Unitree G1에서 36.4% 빠름.

의의 및 한계

WarpSAC는 데이터 규모에 따라 안정화 기법을 조정함으로써, 기존 오프-정책 RL의 한계를 극복하는 새로운 설계 원칙을 제시한다. 특히, 기존 안정화 기법을 제거함으로써 성능을 향상시킨 점은 기존 접근과 차별화된다.

한계점으로는, **SWD 외의 다른 안정화 기법에 대한 분석이 제한적**이며, **모든 데이터 규모에 적용 가능한 새로운 안정화 기법의 개발은 아직 미흡**하다는 점이 있다. 또한, **복잡한 환경에서의 일반화 가능성**은 추가 실험을 통해 검증되어야 한다.

실용적 활용

WarpSAC는 **로봇 제어**, **고차원 조작**, **시뮬레이션-실제 세계 전이** 등에서 유용하게 활용될 수 있다. 특히, **GPU-parallel 환경에서의 빠른 학습 및 배포**가 필요한 산업 현장(예: 자율주행, 산업 로봇)에서 실용적 가치가 높다.