Abstract
Large language models (LLMs) are increasingly used as interactive agents, but optimizing them for long-horizon decision making remains difficult because current methods are largely purely reactive, which weakens both exploration and credit assignment over extended trajectories. In this work, we present Strategic Trajectory Abstraction (StraTA), a simple framework that introduces an explicit trajectory-level strategy into agentic reinforcement learning (RL). StraTA samples a compact strategy from the initial task state, conditions subsequent actions on that strategy, and trains strategy generation and action execution jointly with a hierarchical GRPO-style rollout design, further enhanced by diverse strategy rollout and critical self-judgment. Experiments on ALFWorld, WebShop, and SciWorld show that StraTA consistently improves both sample efficiency and final performance over strong baselines. StraTA reaches success rates of 93.1% on ALFWorld and 84.2% on WebShop. On SciWorld, StraTA attains a 63.5% overall score, outperforming frontier closed-source models.
한국어 요약
📋 한 줄 요약
**[LLM 에이전트 · RL]** 명시적 전략을 도입한 계층적 GRPO 기반 에이전트 강화학습 프레임워크 StraTA로 장기 의사결정 성능을 크게 향상시켰다.
🎯 핵심 기여도
- 궤적 수준의 전략을 LLM 에이전트 RL에 명시적으로 도입한 StraTA 제안
- 전략 생성과 행동 실행을 동시에 학습하는 계층적 GRPO 롤아웃 설계
- 다양한 전략 롤아웃 및 비판적 자기 판단(self-judgment) 도입
- ALFWorld 93.1%, WebShop 84.2%, SciWorld 63.5%로 강력한 성능 달성
💡 핵심 아이디어
기존 에이전트 RL은 순수 반응형이라 장기 궤적에서 탐색과 신용 할당이 어렵다. 초기 상태에서 컴팩트한 전략을 표본화해 이후 행동을 조건화하면 일관된 장기 행동과 명확한 신용 할당이 가능하다.
🔬 기술적 접근법
- **모델/방법론**: 초기 상태에서 전략을 샘플링하고 그 전략에 조건화된 행동 정책을 학습하는 계층적 구조
- **핵심 기법**: GRPO 스타일 그룹 롤아웃 + 다양한 전략 샘플링 + 자기 비판으로 전략 품질을 강화
📊 주요 결과
- ALFWorld 성공률 93.1% 달성
- WebShop 성공률 84.2% 달성
- SciWorld 종합 점수 63.5%로 프런티어 폐쇄형 모델 대비 우위
💭 의의 및 한계
**의의**: 단순 반응형 에이전트의 한계를 전략 추상화로 극복해 표본 효율과 최종 성능을 모두 끌어올렸다. **한계**: 전략 표현·샘플링 다양성이 도메인 특성에 좌우되어 일반화는 추가 검증이 필요하다.
🚀 실용적 활용
- 가정용·웹·과학 시뮬레이터에서 LLM 에이전트 학습
- 장기 의사결정형 자율 비서 개발
- 복잡한 도구 사용 워크플로 자동화