WikiSkill: Compiling Agent Experience into Persistent Knowledge for Skill Evolution

Agent skills package specialized knowledge and workflows into reusable resources that extend AI agent capabilities. Recent work automatically discovers such skills from agent experience, which enables agents to progressively adapt through interaction. However, the insights that guide skill development typically remain scattered across optimization histories, limiting their systematic reuse across iterations. We introduce WikiSkill, a framework that co-evolves agent skills with a persistent knowledge base (wiki). At a high level, WikiSkill separates raw execution experience, accumulated knowledge, and executable skills, while continuously consolidating experience into the wiki, which subsequent skill updates can build on. Across diverse benchmarks and models, WikiSkill consistently outperforms state-of-the-art skill-evolution methods and improves over no-skill baselines in most model-benchmark settings. We find that skill evolution complements model scaling: larger models generally benefit more from evolved skills, while smaller models with skills can outperform substantially larger models without them. We also find that evolved skills transfer effectively across models and model families, and skills evolved by other models can outperform self-evolved skills. Finally, our ablation studies confirm that persistent knowledge accumulation in the wiki is critical for effective skill evolution. These results demonstrate the benefits of systematically accumulating and refining agent experience for developing reusable and transferable skills.

한 줄 요약

WikiSkill은 지속적인 지식 축적을 통해 에이전트의 스킬 진화를 촉진하는 프레임워크로, 다양한 벤치마크에서 기존 방법을 상회한다.

핵심 기여도

WikiSkill 프레임워크를 제안: 지속적인 지식베이스(wiki)와 에이전트 스킬을 공진화시킴.
5개 벤치마크와 5개 모델에서 기존 스킬 진화 방법을 꾸준히 상회.
Qwen-3.5-9B 모델에서 WikiSkill 적용 시 Qwen-3.6-27B 모델(스킬 없음) 대비 47.4% vs. 39.4% 성능 개선.
지속적인 지식 축적이 스킬 진화에 필수적임을 실험적으로 입증.

핵심 아이디어

기존 스킬 진화 방법은 에이전트의 실행 경험을 단편적으로 저장하고, 이를 반복적으로 재분석해야 하므로 효율성이 떨어진다. WikiSkill은 이러한 문제를 해결하기 위해 **지속적인 지식베이스**(wiki)를 도입하여, 에이전트의 경험을 체계적으로 축적하고 재사용할 수 있도록 한다.

WikiSkill은 **Raw Layer**, **Wiki Layer**, **Skill Layer**의 세 가지 계층으로 에이전트 작업 공간을 구조화한다. Raw Layer는 실행 트레이스를 저장하고, Wiki Layer는 이 트레이스를 정리한 지식을 유지하며, Skill Layer는 실행 가능한 프로시저(스킬)를 포함한다. 이 구조를 통해 스킬 개선 과정이 이전의 지식에 기반하여 진행되도록 한다.

핵심 아이디어는 **지속적인 지식 축적**(persistent knowledge accumulation)을 통해 스킬 진화의 질과 효율성을 높이는 것이다. 이는 기존 방법에서 경험을 단편적으로 저장하고 재분석하는 방식과는 구별된다.

기술적 접근법

**WikiSkill 프레임워크**는 4개의 주요 컴포넌트로 구성됨:
**Inference Agent**: 현재 스킬을 사용해 실행을 수행.
**Wiki Maintainer**: 실행 트레이스를 wiki에 정리 및 통합.
**Skill Proposer**: wiki와 트레이스를 기반으로 스킬 업데이트 제안.
**Gating and Rollback mechanism**: 검증 성능 향상에 기여하는 업데이트만 유지.
**지속적인 지식 축적**은 wiki에 저장되어, 이후 스킬 업데이트에 활용됨.
**ALFWorld, LiveMathematicianBench, SealQA, SpreadSheetBench, OfficeQA** 5개 벤치마크에서 실험.
**Qwen, Gemma, Gemini** 3가지 모델 패밀리, 총 5개 모델 사용.
**Qwen-3.5-9B** 모델에서 WikiSkill 적용 시 **Qwen-3.6-27B**(스킬 없음) 대비 **47.4% vs. 39.4%** 성능 개선.

주요 결과

**Qwen-3.5-9B** 모델에서 WikiSkill 적용 시 **Qwen-3.6-27B**(스킬 없음) 대비 **+8.0%** 성능 개선 (47.4% vs. 39.4%).
**LiveMathematicianBench**에서 Qwen-27B 모델의 WikiSkill 적용 시 **+23.9%** 성능 향상.
**ALFWorld**에서 Qwen-3.5-9B는 Qwen-3.6-27B에서 진화한 스킬을 사용할 때 **+6.8%** 성능 향상 (70.2% vs. 63.4%).
**모델 스케일 증가에 따라 WikiSkill의 성능 향상폭도 커짐**. Qwen-4B, 9B, 27B 모델에서 각각 **+12.3%, +17.5%, +23.9%** 향상.
**스킬은 모델 간 이전 가능**하며, 다른 모델에서 진화한 스킬이 자기 자신의 스킬보다 더 효과적일 수 있음.

의의 및 한계

WikiSkill은 에이전트가 경험을 체계적으로 축적하고 이를 기반으로 스킬을 진화시키는 새로운 패러다임을 제시한다. 기존 방법에서는 경험을 단편적으로 저장하고 재분석해야 했지만, WikiSkill은 지속적인 지식베이스를 통해 이 과정을 효율화한다. 특히, 모델 스케일과 스킬 진화가 상호보완적임을 보여주는 실험 결과는 중요한 학술적 통찰을 제공한다.

그러나, WikiSkill은 여전히 **작은 검증 세트**(small validation sets)로 인한 평가 노이즈에 영향을 받을 수 있다. 또한, 현재는 **5개 벤치마크**만 사용했기 때문에, 더 다양한 도메인에서의 일반화 가능성은 추가 연구가 필요하다.

실용적 활용

WikiSkill은 **복잡한 도메인**(수학, 문서 처리, 웹 검색 등)에서 에이전트의 성능을 지속적으로 향상시키는 데 유용하다. 특히, **작은 모델**이 큰 모델을 따라잡을 수 있도록 도와주는 점에서 **자원 제한 환경**(예: 모바일, 임베디드 시스템)에서 실용적이다. 또한, **다양한 모델 간 스킬 이전**이 가능하므로, **모델 업데이트나 교체 시에도 지속적인 지식 활용**이 가능하다.