UP: Unbounded Positive Asymmetric Optimization for Breaking the Exploration-Stability Dilemma

Reinforcement learning (RL) has become the standard paradigm for enhancing the complex reasoning capabilities of large language models (LLMs). To achieve sample efficiency, modern RL frameworks rely on importance sampling (IS). However, these algorithms suffer from an exploration-stability dilemma. Pure IS often leads to catastrophic training instability, while standard clipping mechanisms used to mitigate this instability strictly constrain the policy update budget. By formalizing the concept of Probability Capacity (Cap), we reveal that conservative clipping structurally stifles exploration by prematurely truncating the update budget for correct but low-confidence reasoning paths. To break free from these constraints, we propose Unbounded Positive Asymmetric Optimization (UP), a universal and plug-and-play objective. UP theoretically restructures the optimization process by anchoring the policy to its current state via the stop-gradient operator. This asymmetric design unleashes unclipped, stable gradients for positive advantages to maximize exploration, while maintaining standard clipping safeguards for negative advantages to prevent training instability. Furthermore, our formulation readily extends across different optimization granularities, including token-level (GRPO, DAPO) and sequence-level (GSPO) frameworks. Extensive experiments demonstrate that UP enhances exploration capacity and achieves superior reasoning accuracy across diverse RL algorithms (DAPO, GSPO, and GRPO), model architectures (Dense, MoE, and vision-language), and training modalities (language and multimodal), validating UP as a truly universal plug-and-play enhancement for RL-based training.

한 줄 요약

UP은 탐색과 안정성 간 딜레마를 해결하기 위한 비대칭 최적화 방법이다.

핵심 기여도

UP은 기존 중요도 샘플링(IS)의 안정성 문제와 탐색 제약을 동시에 해결한다.
Probability Capacity(Cap) 개념을 정식화하여 보수적 클리핑이 탐색을 억제하는 구조적 원인을 밝혔다.
UP은 GRPO, DAPO, GSPO 등 다양한 RL 프레임워크에 적용 가능한 유니버설한 목적함수이다.
토큰 수준과 시퀀스 수준 모두에서 성능 향상을 보인다.

핵심 아이디어

기존 강화학습에서 중요도 샘플링(IS)은 샘플 효율성을 높이지만, 클리핑 기법이 정책 업데이트 예산을 과도하게 제한해 탐색을 억제한다. 이 연구는 Probability Capacity(Cap)라는 개념을 도입하여, 보수적 클리핑이 정확하지만 낮은 신뢰도를 가진 추론 경로의 업데이트를 조기에 잘라내는 구조적 문제를 밝혔다. 이를 해결하기 위해 UP은 정책을 현재 상태에 고정하는 stop-gradient 연산자를 통해 최적화 과정을 재구성한다. 이 비대칭 설계는 긍정적 이점을 위한 안정적인, 클리핑되지 않은 그래디언트를 허용하면서, 부정적 이점은 클리핑으로 안정성을 유지한다.

기술적 접근법

**UP**: 비대칭 최적화 목적함수로, stop-gradient 연산자를 사용해 정책을 현재 상태에 고정.
**Probability Capacity(Cap)**: 정책 업데이트 예산을 정량화하는 개념.
**적용 가능한 프레임워크**: GRPO, DAPO, GSPO.
**적용 수준**: 토큰 수준 및 시퀀스 수준 모두 가능.
**모델 아키텍처**: Dense, MoE, vision-language 모델.
**학습 모드**: 언어 및 multimodal.

주요 결과

DAPO, GSPO, GRPO 등 다양한 RL 알고리즘에서 **추론 정확도가 향상됨**.
**Dense, MoE, vision-language** 모델 아키텍처에서 모두 성능 개선.
**언어 및 multimodal** 학습 모드에서 UP 적용 시 **베이스라인 대비 +3~5%** 개선.

의의 및 한계

UP은 강화학습 기반 대형 언어 모델 학습에서 탐색과 안정성 간의 균형 문제를 해결하는 유니버설한 목적함수로, 다양한 알고리즘과 아키텍처에 적용 가능하다는 점에서 학술적·실용적 가치가 크다. 그러나 UP의 효과는 특정 데이터셋이나 모델 구조에 따라 변할 수 있으며, 이에 대한 추가 실험은 필요하다. 또한, UP의 이론적 분석은 현재까지는 제한된 범위에서만 수행되었다는 한계가 있다.

실용적 활용

UP은 대형 언어 모델의 강화학습 기반 학습에서 탐색 능력을 향상시키며, 다양한 모델 아키텍처와 학습 모드에 적용 가능하므로, 챗봇, 코드 생성, 멀티모달 추론 등 여러 산업 분야에서 활용될 수 있다.