One-Step Gradient Delay is Not a Barrier for Large-Scale Asynchronous Pipeline Parallel LLM Pretraining

Modern large-scale LLM pretraining benefits from utilizing Pipeline Parallelism; however, synchronous implementations leave GPUs idle during pipeline bubbles, wasting computational resources. Asynchronous Pipeline Parallelism eliminates these bubbles, maximizing throughput at the cost of gradient staleness. Among asynchronous schedules, PipeDream-2BW is particularly appealing: unlike the original PipeDream schedule, it ensures a constant one-step gradient delay regardless of pipeline depth. However, its adoption remains limited due to the common belief that optimizing under staleness is fundamentally unstable. In this work, we challenge this assumption, demonstrating that degradation under one-step delay depends strongly on optimizer choice rather than being an intrinsic limitation. We provide the first comprehensive empirical analysis showing that while AdamW, the predominant optimizer at the time when PipeDream-2BW was introduced, indeed suffers from severe degradation, recent methods like Muon exhibit strong robustness under a one-step delay. We introduce an optimizer-agnostic Error Feedback-inspired correction to further mitigate delay effects. We provide supporting theoretical analysis demonstrating convergence for Muon with and without this correction. Extensive evaluation on models up to 10B parameters confirms that our strategies bridge the performance gap with synchronous training, highlighting the practical potential of asynchronous pipeline parallelism at scale.

한 줄 요약

10B 파라미터 MoE 모델에서 Async PP와 Error Feedback을 통해 동기식 훈련과 동일한 최종 손실 달성.

핵심 기여도

**Muon 옵티마이저**는 1단계 지연에서도 뛰어난 성능을 보임 (예: 16단계 파이프라인에서 0.2 이상의 손실 증가 없음).
**Error Feedback 기반 보정**을 도입하여 지연 효과를 완화 (Muon 기준 동기식 대비 성능 차이 감소).
**10B MoE 모델**에서 Async PP로 200B 토큰 훈련 성공, 최종 손실은 동기식 훈련과 동일.
**PipeDream-2BW** 스케줄링이 고정 지연을 보장하여 대규모 파이프라인에서도 안정성 확보.

핵심 아이디어

기존 연구는 Async PP에서 발생하는 **gradient staleness**가 훈련 불안정성을 유발한다고 가정했으나, 본 연구는 이는 **옵티마이저 선택에 따라 달라질 수 있음**을 입증한다. 특히, **AdamW**는 지연에 취약하지만, **Muon**과 같은 최신 옵티마이저는 1단계 지연에서도 **강한 robustness**를 보인다. 이는 **momentum**과 같은 옵티마이저 내부 메커니즘과 관련이 있으며, 이 연구는 이를 실험적으로 입증한다. 또한, **Error Feedback (EF)** 기반 보정 메커니즘을 도입하여 지연 효과를 보완하며, 이는 옵티마이저와 무관하게 적용 가능하다.

기술적 접근법

**PipeDream-2BW** 스케줄링: 파이프라인 깊이와 관계없이 **1단계의 고정 지연**을 보장.
**Muon 옵티마이저**: 고정 지연 환경에서 **작은 sync-async 성능 차이**를 유지.
**Error Feedback (EF)**: 지연된 경사를 보정하는 **optimizer-agnostic 기법**.
**10B MoE 모델** 훈련: 200B 토큰, 동기식 훈련과 **동일한 최종 손실** 달성.
**Linear Minimization Oracle (LMO)** 알고리즘의 지연 환경에서의 수렴 분석 제공.

주요 결과

**16단계 파이프라인**에서 PipeDream-2BW는 **0.2 이상의 손실 증가 없이** 훈련 가능.
**10B MoE 모델**에서 Async PP + EF로 **동기식 훈련과 동일한 최종 손실** 달성.
**Muon**은 AdamW 대비 **1단계 지연에서도 훨씬 낮은 손실 증가** (0.2 이상 대비 0.0 이하).
**Error Feedback**은 Muon 기준 **sync-async 성능 차이를 추가로 감소**.

의의 및 한계

본 연구는 Async PP의 **1단계 지연이 훈련 불안정성의 근본적 장벽이 아님**을 입증하며, 대규모 LLM 훈련에서 **GPU 활용률 향상과 성능 유지**가 동시에 가능함을 보여준다. 특히, **Muon과 EF 기반 보정**은 실용적 적용 가능성을 높인다. 그러나, **momentum이 robustness에 미치는 정확한 메커니즘**은 명확히 설명되지 않았으며, **배치 크기와 학습률 조정**에 대한 연구는 제한적이다. 또한, **WPipe**와 같은 대안 스케줄링은 부록 실험에만 제한된다.

실용적 활용

**대규모 MoE 모델 훈련**에서 Async PP와 EF를 활용하여 GPU 활용률 향상.
**Muon 옵티마이저**를 사용한 지연 환경 훈련이 **성능 저하 없이 가능**.
**10B 이상 모델**의 대량 토큰 훈련에서 **동기식 대비 효율성 향상**.