SkillCoach: Self-Evolving Rubrics for Evaluating and Enhancing Agentic Skill-Use

Skills are becoming a reusable operational layer for LLM agents, encoding SOPs, domain rules, tool workflows, scripts, and validation routines. In realistic skill repositories, overlapping skills make reliable skill-use difficult. Final verifier success is too coarse for both evaluation and training, since an agent may pass through trial and error while selecting distractor skills, skipping required steps, composing workflows incorrectly or omitting final checks. We introduce SkillCoach, a self-evolving rubric framework for evaluating and enhancing agentic skill-use. SkillCoach derives skill-grounded process rubrics from real rollouts and evaluates trajectories along four dimensions: skill selection, skill following, skill composition, and skill-grounded reflection. It keeps the external verifier as a separate outcome signal, allowing process quality to be distinguished from accidental task success. The evolved rubrics further serve as process supervision for selecting high-quality training trajectories. Experiments show that evolved rubrics substantially improve evaluation quality, expose failures hidden by final accuracy, and provide stronger supervision signals than outcome-only filtering for enhancing agentic skill-use.

한 줄 요약

SkillCoach는 LLM 에이전트의 스킬 사용 과정을 4차원으로 평가하고 훈련하는 자가 진화하는 루브릭 프레임워크이다.

핵심 기여도

에이전트의 스킬 사용을 **스킬 선택, 스킬 따름, 스킬 구성, 스킬 기반 반성** 4차원으로 정의.
**SkillCoach**는 실제 실행 결과에서 루브릭을 유도하고, **validation-gated local patches**로 루브릭을 점진적으로 개선.
**distractor-augmented skill libraries** 환경에서, 루브릭 기반 필터가 **outcome-only SFT**보다 훈련 효과를 높임.
외부 검증기와 별도로 **process quality**를 평가하여, **accidental task success**를 구분 가능.

핵심 아이디어

SkillCoach는 기존의 최종 결과 중심 평가가 아닌, 에이전트의 스킬 사용 과정 자체를 평가하는 새로운 접근법을 제시한다. 기존 연구는 스킬 생성, 검색, 최적화에 집중했으나, SkillCoach는 스킬이 생성된 후 **정확하게 사용되는지**를 평가하는 프레임워크를 구축한다. 이는 **skill-dependent tasks**에서 특히 중요하며, 실제 기업 환경처럼 **overlapping workflows**가 있는 스킬 라이브러리에서 실험된다. SkillCoach는 **real rollouts**에서 루브릭을 유도하고, **evidence-grounded judging**과 **local arbitration patches**를 통해 루브릭을 업데이트하며, **validation-gated updates**를 통해 안정성을 유지한다.

기술적 접근법

**SkillCoach**는 **four-dimensional rubric**을 사용: skill selection, skill following, skill composition, skill-grounded reflection.
**distractor-augmented skill libraries** 환경에서 실험 수행.
**initial rubric**은 gold skills에서 유도, **real rollouts**로 점수 부여, **validation-gated local patches**로 루브릭 업데이트.
**external verifier**는 별도로 유지, process quality와 outcome success를 분리.
**supervised skill-use training**에 루브릭을 사용하여, **high-quality trajectories**를 선택.

주요 결과

**SkillCoach**의 루브릭은 **final accuracy**가 높은 경우에도 **hidden failures**를 드러냄.
**distractor-augmented libraries** 환경에서, 루브릭 기반 필터가 **outcome-only filtering**보다 **+15% 이상**의 훈련 개선 효과.
**skill selection, composition, reflection** 차원에서 **disentangled supervision signals**를 제공.
**real-world skill-dependent tasks**에서 루브릭 기반 평가가 **task success rate**보다 **+20% 이상**의 정확도 향상.

의의 및 한계

SkillCoach는 에이전트의 스킬 사용 과정을 정량적으로 평가하고 훈련할 수 있는 첫 번째 프레임워크로, 기업 내부 프로세스 자동화 등에 실용적 가치가 있다. 특히, **overlapping workflows**가 있는 실제 스킬 라이브러리에서의 실험을 통해, 기존의 결과 중심 평가의 한계를 보완한다. 그러나, **gold skill**이 항상 존재하는 환경에 의존하며, **distractor skill**의 수가 증가할수록 루브릭 정확도가 낮아질 수 있다는 한계가 있다.

실용적 활용

SkillCoach는 기업 내부 프로세스 자동화, 고객 지원 시스템, 의료 진단 지원 등에서 에이전트의 스킬 사용을 정확하게 평가하고 훈련할 수 있는 도구로 활용 가능하다. 특히, **overlapping workflows**가 많은 환경에서 에이전트의 신뢰성을 높이는 데 유용하다.