SEED: Self-Evolving On-Policy Distillation for Agentic Reinforcement Learning

Large language models are increasingly trained as interactive agents for long-horizon tasks involving multi-turn interaction, tool use, and environment feedback. Outcome-based reinforcement learning (RL) provides a practical optimization paradigm, but its sparse trajectory-level rewards offer limited guidance on intermediate decisions, leaving a supervision gap between episode-level outcomes and token-level policy learning. We propose SEED (SElf-Evolving On-Policy Distillation), a self-evolving framework that converts completed on-policy trajectories into training-time hindsight skills and distills their behavioral effect back into the policy model. SEED first fine-tunes the policy to analyze completed trajectories and generate natural-language skills that capture reusable workflows, decisive observations, or failure-avoidance rules. During RL, the current policy both collects trajectories and serves as the analyzer that extracts hindsight skills from them. Policy updates therefore improve subsequent decision making and skill analysis together, allowing hindsight supervision to evolve with the policy. SEED then re-scores the sampled actions under ordinary and skill-augmented contexts, converting the skill-induced probability shift into a dense token-level on-policy distillation signal. This signal is jointly optimized with outcome-based RL, keeping the auxiliary supervision aligned with the current trajectory distribution. Extensive experiments on text-based and vision-based agentic tasks show that SEED consistently improves performance and sample efficiency, exhibiting robust generalization to unseen scenarios. Our code is available at https://github.com/jinyangwu/SEED.

한 줄 요약

SEED는 정책이 스스로 생성한 후시적 스킬을 활용해 토큰 수준의 정밀한 지도를 생성하는 자기 진화형 온폴리시 디스틸레이션 프레임워크이다.

핵심 기여도

후시적 스킬 생성과 온폴리시 디스틸레이션을 결합한 자기 진화형 학습 프레임워크 SEED 제안
ALFWorld에서 성공률 91.8% 달성 (기존 대비 +5.8%)
정책이 스스로 생성한 스킬을 기반으로 토큰 수준의 밀집된 지도를 생성
정책의 진화와 함께 후시적 지도가 동적으로 조정됨

핵심 아이디어

기존의 결과 기반 강화 학습은 희소한 궤적 수준의 보상만 제공해 중간 결정에 대한 지도가 부족하다. SEED는 정책이 스스로 생성한 후시적 스킬을 활용해 토큰 수준의 밀집된 지도를 생성함으로써 이 문제를 해결한다. 후시적 스킬은 정책이 완료된 궤적을 분석해 생성되며, 이는 반복적 워크플로우, 결정적 관측, 실패 회피 규칙 등을 포착한다. 정책은 RL 과정에서 궤적을 수집하고 동시에 분석자 역할을 수행해 후시적 스킬을 추출한다. 이는 정책의 결정과 분석 능력이 함께 진화하도록 유도한다.

SEED는 두 단계로 구성된다. 첫 번째는 후시적 스킬 감독 미세 조정(SFT) 단계로, 정책이 궤적을 분석해 재사용 가능한 스킬을 생성하도록 훈련한다. 두 번째는 자기 진화형 온폴리시 디스틸레이션(self-evolving OPD) 단계로, 정책이 궤적을 수집하고 분석해 생성된 스킬을 기반으로 토큰 수준의 밀집된 디스틸레이션 신호를 생성한다. 이 신호는 결과 기반 RL과 결합해 정책을 업데이트한다.

기술적 접근법

**후시적 스킬 생성**: 정책이 완료된 궤적을 분석해 자연어 스킬을 생성 (예: 반복적 워크플로우, 결정적 관측, 실패 회피 규칙)
**SFT 단계**: 정책이 궤적 분석 능력을 훈련받음
**self-evolving OPD 단계**: 정책이 궤적을 수집하고 분석, 생성된 스킬을 기반으로 토큰 수준의 디스틸레이션 신호 생성
**하이퍼파라미터**: SFT와 OPD를 병렬적으로 최적화
**데이터셋**: ALFWorld, WebShop, Search-based QA, Visual Reasoning and Planning

주요 결과

**ALFWorld**: 91.8% 성공률 (기존 대비 +5.8%)
**WebShop**: 정규화된 태스크 완료 점수와 정확한 성공률 향상
**Search-based QA**: 7개 서브셋의 정답 정확도 평균 향상
**self-evolving OPD 제거 시**: ALFWorld 평균 성공률 87.0% (4.8% 감소)
**정적 오프라인 스킬 사용 시**: ALFWorld 평균 성공률 84.4% (7.4% 감소)

의의 및 한계

SEED는 희소한 궤적 수준의 보상만을 기반으로 하는 기존 강화 학습의 한계를 극복한다. 정책이 스스로 생성한 후시적 스킬을 활용해 토큰 수준의 밀집된 지도를 생성함으로써, 정확한 결정 신호를 제공한다. 이는 장기적 태스크에서의 성능 향상과 샘플 효율성 향상에 기여한다. 또한, 정책의 진화와 함께 후시적 지도가 동적으로 조정되므로, 정책이 새로운 상황에 적응하는 데 유리하다.

하지만, SEED는 정책이 생성한 스킬의 질에 크게 의존하며, 잘못된 스킬이 생성될 경우 성능이 저하될 수 있다. 또한, SFT 단계에서 스킬 생성 능력이 충분히 훈련되지 않으면 전체 성능에 영향을 미칠 수 있다.

실용적 활용

SEED는 웹 탐색, 검색 기반 QA, 시각적 추론 및 계획 등 다양한 에이전트 기반 태스크에 적용 가능하다. 특히, 장기적 상호작용이 필요한 환경에서 샘플 효율성과 일반화 능력을 향상시키는 데 유용하다. 산업적으로는 챗봇, 로봇 제어, 자동화 시스템 등에 활용될 수 있다.