SkillHone: A Harness for Continual Agent Skill Evolution Through Persistent Decision History

Agent skills extend language-model agents with task-specific procedures, scripts, and references, but the tasks and environments they target continually change. Existing methods improve skills in bounded runs and retain only the final artifact, discarding the decision history that later agents need to interpret prior revisions, evaluations, and rejected alternatives. We introduce SkillHone, a harness for continual agent skill evolution grounded in persistent decision history. SkillHone pairs skill revisions with evaluation-side evidence that supplies practice feedback, recording structured histories of diagnoses, revisions, evidence, and outcomes. Role-separated subagents run candidate skills on practice probes with redacted reporting and propose revisions informed by prior decisions, enabling cross-session refinement without rediscovering past rationale. On deep-research benchmarks, SkillHone runs without a pre-integrated search stack and outperforms the commercially backed deep-research agent by 15.8 points on GAIA and 3.2 points on WebWalkerQA-EN, while also exceeding prior skill-evolution methods. We further deploy SkillHone on internal tool-mediated analysis scenarios, where it improves accuracy by an average of 18.8 points across seven settings.

한 줄 요약

SkillHone은 지속적인 에이전트 스킬 진화를 위해 지속적 의사결정 기록을 기반으로 한 하이브리드 시스템으로, GAIA와 WebWalkerQA-EN에서 각각 15.8점, 3.2점 개선한 성능을 보인다.

핵심 기여도

**지속적 의사결정 기록 기반 스킬 진화**를 제안하여, 기존의 최종 아티팩트 중심 접근의 한계를 극복.
**Role-separated subagents**를 통해 진단, 수정, 평가를 분리하여, 스킬 개선 과정의 투명성과 반복 최적화를 가능하게 함.
**GAIA**와 **WebWalkerQA-EN** 벤치마크에서 상업적 딥리서치 에이전트를 각각 15.8점, 3.2점 초과.
**7개 내부 시나리오**에서 평균 18.8점의 정확도 향상 기록.

핵심 아이디어

기존 스킬 개선 방법은 단일 최적화 세션에서 최종 아티팩트만 남기고, 진단, 평가, 거부된 대안 등 중요한 의사결정 과정을 버림. SkillHone은 **지속적 의사결정 기록**을 통해 이전 수정의 이유와 평가 근거를 유지함으로써, 후속 에이전트가 이전 결정을 재현하지 않고도 스킬을 개선할 수 있도록 한다.

이를 위해 **Role-separated subagents**를 사용하여, 진단, 수정, 평가를 분리한 역할 기반 시스템을 구축한다. 평가 서브에이전트는 **redacted reporting**을 통해 실제 실험 대상은 숨기고, **진단 증거**만 반환하며, 최적화 서브에이전트는 이전 결정 기록을 기반으로 스킬 수정안을 제안한다.

이러한 구조는 **GAIA**, **WebWalkerQA-EN**과 같은 딥리서치 벤치마크에서 상업적 에이전트를 초과하는 성능을 보이며, **Claude Sonnet 4.6**과 같은 다른 실행 백본으로도 전이 가능하다는 점에서 스킬 절차 자체의 효과를 입증한다.

기술적 접근법

**Role-separated subagents**: 진단, 수정, 평가를 분리한 서브에이전트를 사용.
**Redacted practice feedback**: 평가 서브에이전트는 실제 실험 대상은 숨기고, 진단 증거만 반환.
**Persistent decision history**: 진단, 수정, 평가, 결과를 포함한 구조화된 기록을 유지.
**Execution backbone**: Qwen3.6-35B-A3B, Claude Sonnet 4.6 등 다양한 백본에서 실행 가능.
**Ablation study**: **No decision history**와 **No role separation** 실험에서, **GAIA**에서 각각 13.4점, 6.4점의 성능 하락을 기록.

주요 결과

**GAIA**에서 상업적 딥리서치 에이전트를 15.8점 초과.
**WebWalkerQA-EN**에서 3.2점 초과.
**7개 내부 시나리오**에서 평균 18.8점의 정확도 향상.
**Claude Sonnet 4.6**으로 전이 시 추가 최적화 없이도 성능 유지.

의의 및 한계

SkillHone은 단일 최적화 세션 중심의 스킬 개선 방법을 넘어, **지속적 스킬 진화**를 가능하게 하며, 이는 학술적 연구와 실제 산업 시스템 모두에서 유용하다. 특히, **GAIA**, **WebWalkerQA-EN**과 같은 딥리서치 벤치마크에서의 성능은 기존 방법을 초과하며, **스킬 절차 자체의 효과**를 입증한다.

그러나, SkillHone은 **사전 통합 검색 스택 없이** 작동하기 때문에, 일부 복잡한 검색 기반 작업에서는 제한이 있을 수 있다. 또한, **역할 분리 서브에이전트** 구조는 복잡성과 리소스 소비를 증가시킬 수 있다.

실용적 활용

SkillHone은 **내부 도구 기반 분석 시나리오**, **지속적인 API 변화 대응**, **복잡한 검색 작업** 등에서 활용 가능하다. 특히, **Claude Code, Codex, Hermes**와 같은 다양한 에이전트 런타임 환경에서 포터블하게 작동하며, **스킬 진화의 투명성과 반복 최적화**를 필요로 하는 산업 분야에 적합하다.