Group-in-Group Policy Optimization for LLM Agent Training

Recent advances in group-based reinforcement learning (RL) have driven frontier large language models (LLMs) in single-turn tasks like mathematical reasoning. However, their scalability to multi-turn LLM agent training remains limited. Unlike static tasks, agent-environment interactions unfold over many steps and often yield sparse or delayed rewards, making credit assignment across individual steps significantly more challenging. In this work, we propose Group-in-Group Policy Optimization (GiGPO), a novel RL algorithm that achieves fine-grained credit assignment for LLM agents while preserving the appealing properties of group-based RL: critic-free, low memory, and stable convergence. GiGPO introduces a two-level structure for estimating relative advantage: (i) At the episode-level, GiGPO computes macro relative advantages based on groups of complete trajectories; (ii) At the step-level, GiGPO introduces an anchor state grouping mechanism that retroactively constructs step-level groups by identifying repeated environment states across trajectories. Actions stemming from the same state are grouped together, enabling micro relative advantage estimation. This hierarchical structure effectively captures both global trajectory quality and local step effectiveness without relying on auxiliary models or additional rollouts. We evaluate GiGPO on challenging agent benchmarks, including ALFWorld and WebShop, as well as tool-integrated reasoning on search-augmented QA tasks, using Qwen2.5-1.5B/3B/7B-Instruct. Crucially, GiGPO delivers fine-grained per-step credit signals, achieves performance gains of>12% on ALFWorld and>9% on WebShop over GRPO, and obtains superior performance on QA tasks (42.1% on 3B and 47.2% on 7B): all while maintaining the same GPU memory overhead, identical LLM rollout, and incurring little to no additional time cost.

한 줄 요약

GiGPO는 LLM 에이전트의 다단계 학습에서 정밀한 크레딧 할당을 가능하게 하는 새로운 그룹 기반 강화 학습 알고리즘이다.

핵심 기여도

GiGPO는 에피소드 수준과 단계 수준의 이중 크레딧 할당 구조를 도입하여, ALFWorld에서 12% 이상, WebShop에서 9% 이상의 성능 향상을 달성함.
기존 그룹 기반 RL의 장점을 유지하면서 추가적인 모델 또는 롤아웃 없이 정밀한 크레딧 할당을 수행함.
Qwen2.5-3B/7B 모델에서 QA 작업에서 42.1% 및 47.2%의 성능을 달성함.
GPU 메모리 사용량과 시간 비용은 GRPO 대비 0.002% 미만 증가함.

핵심 아이디어

기존 그룹 기반 RL 알고리즘(GRPO 등)은 단일 단계 작업에서 효과적이지만, 다단계 에이전트 학습에서는 크레딧 할당이 어려운 문제를 해결하지 못한다. GiGPO는 이 문제를 해결하기 위해 **이중 구조의 크레딧 할당**을 도입한다.

**에피소드 수준**(episode-level)에서는 여러 완전한 트레젝토리 그룹을 기반으로 **전체 성능**(macro relative advantage)을 계산하여, 전체 에피소드의 품질을 평가한다.
**단계 수준**(step-level)에서는 **anchor state grouping**이라는 새로운 메커니즘을 도입하여, 동일한 환경 상태에서 발생한 행동들을 그룹화하고, **로컬한 크레딧**(micro relative advantage)을 추정한다.

이러한 이중 구조는 **추가적인 모델이나 롤아웃 없이**도, 전역적 트레젝토리 품질과 로컬 단계 효과성을 동시에 포착할 수 있다. 특히, anchor state는 여러 트레젝토리에서 반복적으로 나타나는 상태를 기반으로 구성되며, 이는 LLM 에이전트가 동일한 환경에서 반복적으로 실패하거나 성공한 행동을 비교하는 데 유용하다.

기술적 접근법

**모델**: Qwen2.5-1.5B/3B/7B-Instruct
**알고리즘**:
**에피소드 수준**: GRPO와 유사한 전체 트레젝토리 기반의 상대적 이점 추정
**단계 수준**: anchor state grouping을 통해 동일 상태에서의 행동 그룹 생성
**하이퍼파라미터**:
그룹 크기: 8
가중치 계수 ω: 1
**롤아웃**: 기존 그룹 기반 RL과 동일한 LLM rollout 사용
**메모리**: 추가 GPU 메모리 사용 없음

주요 결과

**ALFWorld**: GiGPO는 GRPO 대비 12% 이상 성능 향상
**WebShop**: GiGPO는 GRPO 대비 9% 이상 성능 향상
**QA 작업**: Qwen2.5-3B에서 42.1%, 7B에서 47.2% 성능 달성
**시간 비용**: GRPO 대비 0.002% 미만 증가
**GPU 메모리**: GRPO와 동일한 사용량 유지

의의 및 한계

GiGPO는 기존 그룹 기반 RL의 장점을 유지하면서, 다단계 에이전트 학습에서의 크레딧 할당 문제를 해결한다. 특히, **anchor state grouping**을 통해 정밀한 단계 수준 학습이 가능해졌으며, **추가 롤아웃 없이도** 성능 향상을 달성한 점이 학술적·실용적 가치를 높인다.

그러나, GiGPO는 **anchor state의 정확한 매칭**에 의존하며, 복잡한 환경에서는 상태의 미세한 차이로 인해 anchor state를 정확히 식별하지 못할 수 있다. 이는 알고리즘의 한계로, 노이즈가 많은 환경에서는 성능 저하가 발생할 수 있다.

실용적 활용

GiGPO는 웹 탐색, 가상 환경 내 탐색, 대화형 QA 시스템 등 **다단계 행동이 필요한 LLM 에이전트 학습**에 적용 가능하다. 특히, **GPU 메모리 효율성과 빠른 학습 속도**를 요구하는 산업 현장에서 유용할 것으로 기대된다.