Progressive Agent Skill Generation via Reinforcement Learning

Existing skill generation methods largely rely on heuristics or pipeline-style consolidation, which must be specially designed for different evidence sources. In contrast, learning-based approaches offer a more unified way to model skill generation across heterogeneous sources. However, learning-based skill generation remains challenging because skills lack a natural supervision signal based on relevance or correctness; their value can largely be determined only by whether they improve the behavior of the agent on downstream tasks. To address this challenge, we propose Skill-α, a reinforcement learning method for progressively generating high-quality agent skills. Specifically, we formulate skill generation as a sequential editing process that decomposes skill construction into individually evaluable edits, and introduce a novel rollback reward that evaluates each edit by comparing downstream execution under the original and edited skills on an anchored query. Extensive experiments show that Skill-α generates more effective skills than methods based on heuristics or pipelines in both document-to-skill and experience-to-skill settings. Under the main GPT-4o worker, Skill-α improves average downstream success rates over the strongest skill-generation baseline by 3.3 points on CL-Bench and 6.7 points on tau2-bench. Further ablations validate the importance of rollback reward and progressive generation.

한 줄 요약

Skill-α는 강화학습을 활용해 문서 및 경험에서 고질적인 에이전트 스킬을 점진적으로 생성하는 방법이다.

핵심 기여도

스킬 생성을 점진적 편집 과정으로 모델링하여, 각 편집에 대한 실행 기반 보상을 할당.
새로운 **rollback reward**를 도입, 원본과 편집된 스킬의 실행 결과를 비교해 편집 효과를 평가.
GPT-4o 기반에서 CL-Bench에서 3.3점, tau2-bench에서 6.7점 개선.
점진 생성과 rollback reward의 중요성을 다양한 아블레이션 실험으로 검증.

핵심 아이디어

기존 스킬 생성 방법은 휴리스틱이나 파이프라인 방식으로, 이질적인 증거 소스에 대응하기 어려웠다. Skill-α는 강화학습을 통해 스킬 생성을 **점진적 편집 과정**으로 모델링한다. 이는 스킬을 구성하는 개별 편집 단위(edit)에 대해 실행 결과를 기반으로 보상을 할당함으로써, 스킬의 질을 정량적으로 평가할 수 있게 한다. 핵심은 **rollback reward**로, 편집 후의 스킬과 원본 스킬을 동일한 **anchored query**에서 비교하여 편집의 영향을 측정한다. 이 방식은 스킬 생성 과정을 **로컬한 편집 결정**으로 분해하고, 이를 기반으로 **GRPO**(Group Relative Policy Optimization) 알고리즘을 통해 정책을 학습한다.

기술적 접근법

**Skill-α**는 스킬 생성을 **sequential editing process**로 정의.
**GRPO** 알고리즘을 사용해 편집 정책(π_ϕ)을 학습.
**rollback reward**는 편집 후의 스킬과 원본 스킬을 **anchored query**에서 실행한 결과를 비교해 계산.
편집 행동에는 **Create, Update, Merge, Prune, Noop**이 포함.
학습 과정에서 **G개의 편집 후보**를 샘플링하고, 각 후보에 대해 **advantage score**를 계산해 정책을 업데이트.
**GPT-4o**를 worker agent로 사용하며, **CL-Bench**, **tau2-bench**, **SpreadsheetBench**에서 평가.

주요 결과

**CL-Bench**에서 Skill-α는 최강 기반 모델 대비 **+3.3%** 성공률 향상.
**tau2-bench**에서는 **+6.7%** 개선.
**rollback reward**가 없을 경우, CL-Bench에서 3.68%, tau2-bench에서 46.67%로 성능 저하.
**Merge/Prune** 편집이 없을 경우, tau2-bench 평균 성능이 39.17%로 감소.
**Noop** 제거 시에도 53.33% 성능 유지, 하지만 full 모델보다 낮음.

의의 및 한계

Skill-α는 이질적인 증거 소스(문서, 경험)에서 스킬을 생성하는 문제를 **단일 학습 프레임워크**로 통합하는 데 성공했다. 기존 휴리스틱 기반 방법과 달리, 실행 결과에 기반한 **로컬 편집 보상**을 도입함으로써 스킬 생성 과정을 정량적으로 최적화할 수 있다. 또한, **점진 생성** 방식은 증거 순서 변경에 대한鲁棒성을 보여준다. 그러나, **증거의 세부 수준**(granularity)에 따라 성능이 달라질 수 있으며, **증거 순서**(evidence order)에 대한 영향은 추가 분석이 필요하다. 또한, **GPT-4o**에만 의존하는 한계가 있으며, 다른 모델로의 전이 성능도 검증 필요.

실용적 활용

Skill-α는 문서나 경험에서 자동으로 스킬을 생성하는 과정을 학습할 수 있어, **대규모 LLM 에이전트**의 스킬 업데이트 및 확장에 활용 가능하다. 특히, **다양한 도메인**(예: 스프레드시트 조작, 공항/소매/통신 분야 워크플로우)에서 재사용 가능한 스킬을 생성할 수 있어, **산업용 에이전트 시스템** 개발에 유용하다.