Beyond Euclidean Clipping: Overcoming Exploration Collapse in LLM RL via Riemannian Isometric Policy Optimization

Reinforcement learning (RL) has become a dominant paradigm for enhancing LLMs' reasoning capabilities. However, RL algorithms with PPO-Clip are inherently limited by exploration collapse. Subsequent works remain primarily heuristic and fail to identify the essential cause of PPO-Clip's failure. This work reveals the fundamental flaw of PPO-Clip: it implicitly measures policy discrepancy using Euclidean metric, which is theoretically inconsistent with the intrinsic geometry on the policy Riemannian manifold. This geometric mismatch results in overly conservative updates in low-probability regions while aggressive in high-probability regions, ultimately collapsing exploration. To correct this geometric flaw, we propose Riemannian Isometric Policy Optimization (RIPO), which guarantees isometric policy updates on the Riemannian manifold, effectively balancing exploration and exploitation. We further show that RIPO achieves a favorable bias-variance trade-off, which stabilizes optimization. Extensive experiments demonstrate that RIPO significantly surpasses existing LLM RL algorithms across seven competition-level benchmarks (up to 60% improvement over GRPO on AIME24).

한 줄 요약

RIPO는 기하학적 불일치를 해결해 LLM RL에서 탐색 붕괴를 극복하고, AIME24에서 GRPO 대비 최대 60% 개선.

핵심 기여도

PPO-Clip의 탐색 붕괴 원인을 **유럽 기하학과 리만 다양체 간의 불일치**로 명확히 규명.
**Riemannian Isometric Policy Optimization (RIPO)** 제안: 리만 다양체 상에서 **등거리 정책 업데이트**를 보장.
**AIME24**에서 GRPO 대비 최대 **60% 성능 개선**을 달성.
**KL 발산** 기반의 정책 차이를 고려한 **이론적 근거**를 제시.

핵심 아이디어

PPO-Clip은 정책 차이를 **유럽 거리**로 측정하지만, 정책 공간은 본질적으로 **리만 다양체**를 따르므로 이론적 불일치가 발생한다. 이는 **낮은 확률 행동**에 대해 **과도한 보수성**, **높은 확률 행동**에 대해 **과도한 공격성**을 유발해 탐색이 붕괴된다. RIPO는 **리만 기하학**을 반영한 **등거리 업데이트**를 통해 정책 변화를 균형 있게 조절한다. 이는 **KL 발산**을 기반으로 정책 업데이트를 제한하며, **bias-variance trade-off**를 개선해 최적화 안정성을 높인다.

기술적 접근법

**PPO-Clip** 대신 **RIPO**를 제안: 리만 다양체 상에서 **등거리 정책 업데이트**를 보장.
**Clipping boundary**를 **로컬 리만 기하학**에 따라 동적으로 조정.
**δ** 하이퍼파라미터를 사용해 업데이트 범위를 제어.
**δ_low**와 **δ_high**를 분리한 **비대칭 버전** 실험도 수행.
**Qwen3-8B-Base** 모델을 사용한 **Ablation Study**에서 **δ=0.02~0.08** 범위에서 안정적인 성능을 보임.

주요 결과

**AIME24** 데이터셋에서 **GRPO 대비 최대 60% 성능 개선**.
**7개 경쟁 레벨 벤치마크**에서 기존 LLM RL 알고리즘 대비 **상당한 성능 향상**.
**비대칭 δ 설정**에서는 **엔트로피 폭증**과 **보상 급락** 발생, 대칭 설정이 안정적.

의의 및 한계

RIPO는 PPO-Clip의 탐색 붕괴 문제를 **이론적으로 명확히 규명**하고, **리만 기하학 기반의 정책 업데이트**를 통해 **탐색-탐욕 균형**을 효과적으로 조절한다. 이는 **복잡한 장기 결정 문제**에서 특히 유용하며, **LLM RL 알고리즘 설계의 새로운 기반**을 제시한다. 그러나 **모든 LLM 아키텍처와 태스크에 대한 일반화 가능성**은 추가 연구가 필요하며, **하이퍼파라미터 조정**이 성능에 민감하게 영향을 미친다는 한계가 있다.

실용적 활용

RIPO는 **수학적 추론**, **복잡한 다단계 문제 해결** 등 **장기 결정 문제**를 다루는 LLM에 적용 가능하다. 특히 **경쟁 레벨 수학 문제 해결**과 같은 **높은 탐색 요구 태스크**에서 **성능 향상**을 기대할 수 있다. 산업적으로는 **자동화된 문제 해결 시스템**, **AI 튜터링 플랫폼** 등에 활용 가능하다.