한 줄 요약
GRPO, Dr. GRPO, DAPO는 표면적으로 다른 학습 방법처럼 보이지만, 사실은 단일 수치인 그룹 표준 편차를 조절하는 세 가지 연산이다.
핵심 기여도
- GRPO, Dr. GRPO, DAPO는 각각 그룹 표준 편차를 기반으로 학습 신호를 조절하는 세 가지 연산임을 증명.
- 그룹 표준 편차가 학습 신호의 크기와 정확도에 직접적으로 영향을 미침을 수식적으로 밝힘.
- 학습 그룹 크기 $ G $에 따른 신호 충실도와 무효 그룹 비율을 닫힌 형태로 도출 (예: $ G ≳ 1/(8\varepsilon p(1-p)) $, $ p^G + (1-p)^G $).
- Big-Math 데이터셋(215,608문제)과 제어된 학습 실험에서 이론을 검증.
핵심 아이디어
기존 연구에서는 GRPO, Dr. GRPO, DAPO를 독립적인 학습 전략으로 보았지만, 본 논문은 이들이 모두 **그룹 표준 편차**를 조절하는 세 가지 연산임을 밝힘. 학습 과정에서 모델은 동일한 프롬프트에 대해 여러 번 답변을 생성하고, 외부 검증기가 정답 여부를 판단함. 이때, 그룹 내 답변의 일치/불일치(표준 편차)가 학습 신호의 크기와 방향을 결정한다. GRPO는 이 표준 편차로 나누어 학습량을 조절하고, Dr. GRPO는 이 연산을 생략하며, DAPO는 표준 편차가 0인 그룹을 제거함. 이는 학습 효율성과 정확도에 직접적인 영향을 미친다.
기술적 접근법
- **GRPO**: 그룹 표준 편차 $ \sigma $로 나누어 학습량을 조절. 이는 $ \sqrt{k(G-k)}/G $ 형태의 학습 신호를 생성.
- **Dr. GRPO**: $ \sigma $로 나누는 단계를 생략. 이는 성공률 $ p $에 비례한 학습량을 유지.
- **DAPO**: $ \sigma = 0 $인 그룹(모든 답변이 일치한 경우)을 제거.
- 학습 그룹 크기 $ G $는 문제 난이도에 따라 조정되어야 하며, $ G ≳ 1/(8\varepsilon p(1-p)) $로 최소 샘플 수를 계산.
- 무효 그룹 비율은 $ p^G + (1-p)^G $로 계산됨.
- 학습 신호는 $ \sqrt{k(G-k)}/G $ × 정답/오답 점수 차이로 표현됨.
주요 결과
- Big-Math 데이터셋(215,608문제)에서 GRPO, Dr. GRPO, DAPO의 학습 신호와 그룹 크기 $ G $의 영향을 검증.
- GRPO는 표준 편차로 나누어 학습량을 조절하므로, 난이도가 높은 문제에서 더 강한 학습 신호를 생성.
- DAPO는 $ \sigma = 0 $인 그룹을 제거하여 학습 효율성을 높임.
- $ G $가 증가할수록 학습 신호의 정확도가 향상되며, $ G ≳ 1/(8\varepsilon p(1-p)) $로 최소 샘플 수를 추정 가능.
- 무효 그룹 비율은 $ p^G + (1-p)^G $로 계산되며, $ G $가 클수록 무효 그룹 비율은 감소.
의의 및 한계
- GRPO, Dr. GRPO, DAPO를 단일 수치(표준 편차)를 조절하는 세 가지 연산으로 통합함으로써, 학습 알고리즘의 이해를 단순화.
- 학습 그룹 크기 $ G $와 표준 편차를 기반으로 학습 신호의 크기와 방향을 정량적으로 예측 가능.
- 한계로는 이론이 이진 보상(binary reward)에만 적용되며, 다른 보상 구조(예: 연속 보상)에 대한 일반화는 추가 연구 필요.
- 표준 편차 기반 학습량 조절은 난이도 편향(difficulty bias)을 유발할 수 있어, 목표에 따라 적절한 방법 선택이 필요.
실용적 활용
- GRPO는 난이도가 높은 문제에서 더 강한 학습 신호를 생성하므로, 복잡한 추론 작업에 적합.
- DAPO는 학습 효율성을 높이기 위해 무의미한 그룹을 제거하므로, 대규모 학습 환경에서 유용.
- $ G $의 최적 크기 계산식 $ G ≳ 1/(8\varepsilon p(1-p)) $는 학습 자원을 효율적으로 배분하는 데 활용 가능.