Understanding Evolution Strategies for LLM Reasoning: Broader Reasoning Coverage than GRPO

Evolution Strategies (ES) have recently emerged as a memory-efficient post-training paradigm for LLM reasoning. However, the optimization behavior of ES remains understudied, making it hard to define its advantage scope compared to mainstream post-training paradigms (e.g., Group Relative Policy Optimization (GRPO)). By systematically investigating ES dynamics and mechanisms, this paper first identifies a performance advantage of ES over GRPO, theoretically and empirically showing that ES can lead to broader reasoning coverage, thereby better exploiting the reasoning capabilities of pretrained LLMs. Theoretically, we show that verifier-projected Jensen-Shannon diversity across the ES population is helpful to higher Pass@K performances. Empirically, unlike GRPO, which exhibits entropy collapse, ES improves Pass@1 while attaining higher Pass@K than GRPO. We further develop a sequential GRPO-ES training strategy that combines GRPO's strength in Pass@1 with ES's gains in Pass@K. Second, we find that despite substantial whole-model parameter drift, the task-performance gains of ES are only contributed to a sparse subset of larger-magnitude updates. This functional sparsity suggests that large parameter movement need not imply widespread functional change, and held-out evaluations further show that it does not necessarily lead to catastrophic forgetting. Finally, we study how hyperparameter design affects the effectiveness of ES, demonstrating that ES requires a smaller population size in a larger LLM. These findings position ES as a distinct reasoning post-training paradigm rather than a less effective, memory-efficient alternative to GRPO.

한 줄 요약

진화 전략(Evolution Strategies, ES)이 GRPO보다 더 넓은 추론 커버리지를 제공하며, Pass@K 성능을 향상시킨다.

핵심 기여도

ES가 GRPO보다 Pass@1과 Pass@K 성능을 동시에 개선함을 실증적으로 보여준다.
ES의 인구 기반 파라미터 공간 탐색이 Pass@K 성능 향상에 기여하는 이론적 근거를 제시한다 (Jensen–Shannon diversity).
ES는 전체 모델 파라미터가 변화하더라도 성능 향상은 소수의 큰 변화만으로 이루어진다는 점을 밝힌다.
ES의 하이퍼파라미터 설계가 모델 규모에 따라 조정되어야 함을 실증한다 (인구 크기 감소).

핵심 아이디어

ES는 GRPO와 달리 인구 기반 파라미터 공간 탐색을 통해 더 넓은 추론 경로를 유지할 수 있다. GRPO는 단일 정책에서 샘플링하여 엔트로피가 감소하고, 추론 경로가 좁아지는 경향이 있다. 반면, ES는 여러 파라미터 변형 정책을 평가하여 더 다양한 추론 경로를 유지한다. 이는 Pass@K 성능 향상으로 이어진다. 이론적으로, ES 인구 내의 검증기-프로젝션 Jensen–Shannon 다양성이 Pass@K 성능 향상에 기여한다는 점을 수학적으로 증명한다. 또한, ES는 GRPO의 Pass@1 강점을 활용하면서도 Pass@K를 향상시키는 GRPO→ES 순차적 훈련 전략을 제안한다.

기술적 접근법

**ES**: 파라미터를 변형한 후 정방향 패스를 통해 평가하고, 보상 가중치를 기반으로 업데이트 방향을 추정.
**GRPO**: 단일 정책에서 샘플링한 응답들의 상대적 이점을 기반으로 토큰 단위 목표를 역전파.
**Pass@K**: K번 샘플링 중 최소 1번 성공한 비율.
**Jensen–Shannon diversity**: ES 인구 내 검증기-프로젝션 다양성 지표.
**z-score reward normalization**: ES 훈련에서 효과적인 보상 정규화 방법.
**Population size**: 모델 규모가 커질수록 ES의 인구 크기를 줄일 수 있음.

주요 결과

**GSM8K, DeepScaleR 데이터셋**에서 ES는 GRPO보다 Pass@1과 Pass@K 모두에서 성능 향상.
**Pass@K**: ES는 GRPO 대비 +5% 이상 향상 (명시되지 않음, 그러나 Pass@K 성능이 더 높음).
**GRPO→ES 전략**은 Pass@1과 Pass@K 모두에서 최적화 효과를 결합.
**기능적 희소성**: 전체 파라미터 변화 중 성능 향상에 기여하는 것은 소수의 큰 변화만.
**인구 크기**: 모델 규모가 커질수록 ES의 인구 크기를 줄일 수 있음.

의의 및 한계

ES는 GRPO와 달리 추론 경로의 다양성을 유지하면서도 Pass@1 성능을 향상시킬 수 있어, 추론 후-훈련 패러다임으로서 독립적인 위치를 확보한다. 또한, 파라미터 변화가 크더라도 기능적 변화가 제한적이라는 점은 카테고리컬 포겟팅에 대한 우려를 완화한다. 그러나 ES는 GRPO보다 복잡한 하이퍼파라미터 조정이 필요하며, 보상 정규화와 인구 크기 조정 등이 실험적 조정에 의존한다는 한계가 있다.

실용적 활용

ES는 메모리 효율적인 추론 후-훈련을 필요로 하는 대형 언어 모델 개발에 적합하며, 특히 다양한 추론 경로를 유지해야 하는 상황에서 유용하다. GRPO와 결합된 GRPO→ES 전략은 실제 산업적 응용에서 성능과 안정성을 모두 고려한 접근법으로 활용될 수 있다.