AReaL: A Large-Scale Asynchronous Reinforcement Learning System for Language Reasoning

Reinforcement learning (RL) has become a dominant paradigm for training large language models (LLMs), particularly for reasoning tasks. Effective RL for LLMs requires massive parallelization and poses an urgent need for efficient training systems. Most existing large-scale RL systems for LLMs are synchronous, alternating generation and training in a batch setting where rollouts in each training batch are generated by the same model. This approach stabilizes RL training but suffers from severe system-level inefficiency: generation must wait until the longest output in the batch is completed before model updates, resulting in GPU underutilization. We present AReaL, a fully asynchronous RL system that completely decouples generation from training. Rollout workers in AReaL continuously generate new outputs without waiting, while training workers update the model whenever a batch of data is collected. AReaL also incorporates a collection of system-level optimizations, leading to substantially higher GPU utilization. To stabilize RL training, AReaL balances the workload of rollout and training workers to control data staleness, and adopts a staleness-enhanced PPO variant to better handle outdated training samples. Extensive experiments on math and code reasoning benchmarks show that AReaL achieves up to 2.77$\times$ training speedup compared to synchronous systems with the same number of GPUs and matched or improved final performance. The code of AReaL is available at https://github.com/inclusionAI/AReaL/.

한 줄 요약

AReaL은 대규모 언어 모델의 강화 학습을 위한 비동기식 시스템으로, 동기식 시스템 대비 최대 2.77×의 학습 가속을 달성한다.

핵심 기여도

AReaL은 강화 학습 과정에서 생성과 학습을 완전히 분리한 **비동기식 시스템**을 제안함.
**PPO 알고리즘의 변형**(staleness-enhanced PPO)을 도입하여 과거 모델 버전의 샘플도 안정적으로 활용함.
**2.77×의 학습 속도 향상**을 기록하며, 동일 GPU 수량에서 **선형 확장 효율성**을 보임.
**최대 512 GPU까지 확장 가능**하며, GPU 활용률을 크게 향상시킴.

핵심 아이디어

기존 강화 학습 시스템은 생성과 학습을 **동기식 방식**으로 수행하여, 가장 긴 샘플이 완료될 때까지 기다려야 하므로 **GPU 활용률 저하** 문제가 발생한다. AReaL은 이 문제를 해결하기 위해 **완전히 비동기식 아키텍처**를 도입한다. 생성 워커는 지속적으로 샘플을 생성하며, 학습 워커는 데이터 배치가 수집될 때마다 즉시 모델을 업데이트한다. 이로 인해 **GPU 대기 시간을 최소화**하고, **생성과 학습을 병렬화**할 수 있다. 또한, 샘플의 **staleness**(데이터 낡음 정도)를 제어하기 위해 **staleness-aware PPO 알고리즘**을 설계하여, 과거 모델 버전의 샘플도 안정적으로 학습에 활용할 수 있도록 했다.

기술적 접근법

**비동기식 아키텍처**: 생성 워커와 학습 워커가 별도로 작동하며, 생성 과정에서 대기 없이 지속적으로 샘플을 생성함.
**staleness-enhanced PPO**: 샘플의 낡음 정도를 고려한 PPO 알고리즘으로, 과거 모델 버전의 샘플도 학습에 활용 가능.
**시스템 최적화**: interruptible rollout workers, dynamic batching, parallel reward service 등을 도입하여 전체 학습 처리량을 향상.
**하드웨어 구성**: 최대 512 GPU까지 확장 가능한 H800 GPU 클러스터 사용.
**모델**: 최대 32B 파라미터의 Qwen2 모델 시리즈 사용.
**최대 staleness 설정**: 코딩 작업은 η=4, 수학 작업은 η=8로 설정.

주요 결과

**수학 및 코드 생성 작업**에서 AReaL은 동기식 시스템 대비 최대 **2.77×의 학습 속도 향상**을 기록함.
**최대 512 GPU**에서 **선형 확장 효율성**을 달성.
**32B 파라미터 모델**에서 **2.57×의 학습 처리량 향상**을 보임.
**최종 정확도 개선**: 속도 향상과 함께 **해결 정확도도 향상**됨 (예: 수학 및 코드 생성 작업).

의의 및 한계

AReaL은 대규모 언어 모델의 강화 학습을 위한 **비동기식 시스템 설계의 새로운 기준**을 제시한다. 기존 동기식 시스템의 **GPU 활용률 저하 문제**를 해결하고, **학습 처리량과 확장성**을 동시에 향상시켰다. 또한, 샘플 낡음 문제를 해결한 **staleness-aware PPO 알고리즘**은 비동기 환경에서의 안정적인 학습을 가능하게 한다. 그러나, **최적의 인퍼런스-트레이닝 장비 비율**(75-25)은 특정 설정에 따라 달라질 수 있으며, **동적 조정**이 필요할 수 있다. 또한, **모든 작업에서 동일한 성능 향상을 보장하지는 않으며**, 작업 종류에 따라 최적화가 달라질 수 있다.

실용적 활용

AReaL은 **대규모 언어 모델의 강화 학습**이 필요한 산업 및 연구 분야에서 활용 가능하다. 특히, **수학 문제 해결, 코드 생성, 로직 퍼즐, 에이전트 기반 작업** 등에서 높은 효율성과 정확도를 요구하는 상황에 적합하다. 또한, **GPU 클러스터를 활용한 대규모 학습 시스템** 설계에 있어 중요한 참고 자료가 될 수 있다.