Demystifying Agent Skills: Why They Work-Until They Don't

Skills have emerged as a practical and effective approach for enhancing LLM agents at inference time through structured packages of knowledge. However, existing evaluations largely measure whether skills improve aggregated task success, leaving a more fundamental question underexplored: \textbf{When do skills help, why do they work, and where do they fail?} Through controlled experiments across various benchmarks, agent harnesses and LLMs, we isolate the effects of representation, outcome annotation, retrieval difficulty, and cross-framework robustness of skills. To further answer this question, we design a contrastive study that combines controlled quantitative experiments with paired trajectory analysis. We normalize 8,135 trial records from controlled experiments and retain 238 valid unique labels from 240 open-coded records. We consolidate these observations into a taxonomy of three high-level categories and twelve skill-use modes: skills work when noisy trajectories become procedural anchors that stabilize execution. Skills improve over Workflow Memory by 6.06 points in matched comparisons. Procedural anchoring accounts for 65.7\% of skill cases, versus 4.5\% for explicit knowledge injection, showing that skills stabilize action rather than inject missing facts. Retrieval is a separate bottleneck: as pools grow from 5 to 100, actual-use precision falls from 29.6\% to 3.3\%. Confusable distractors impair offline identification, yet downstream success remains stable; exact ground-truth invocation is neither sufficient nor necessary. Skills fail under brittle assumptions, incompatible contexts, or insufficient adaptation. These findings move evaluation beyond aggregate success rates and guide reliable self-evolving agents.

한 줄 요약

LLM 에이전트의 스킬 활용 메커니즘을 체계적으로 분석하여, 언제 작동하고 왜 실패하는지 밝힌 연구.

핵심 기여도

스킬이 작동하는 주요 메커니즘은 ** процедур anchoring (65.7%)**이며, 명시적 지식 주입(4.5%)보다 훨씬 효과적임을 밝힘.
스킬 풀 크기가 5에서 100으로 증가할 때 **실제 사용 정확도가 29.6%에서 3.3%로 급락**함을 실험적으로 입증.
**Workflow Memory 대비 6.06 포인트 개선**을 기록한 스킬 활용의 효과를 정량화.
**Terminal-Bench, SkillsBench** 데이터셋을 활용한 실험을 통해 스킬의 성공/실패 패턴을 분류.

핵심 아이디어

기존 연구는 스킬이 작업 성공률을 향상시키는지에만 초점을 맞췄지만, 본 연구는 **"언제 도움이 되는가?", "왜 작동하는가?", "어디서 실패하는가?"**라는 세 가지 핵심 질문을 제기한다. 이에 따라, 스킬이 작동하는 메커니즘을 **representation, annotation, retrieval, robustness** 네 가지 차원에서 분석한다. 연구는 **contrastive trajectory analysis**를 통해 스킬이 포함된 실행과 포함되지 않은 실행을 비교하며, 실행 흐름에서의 차이를 추적한다. 이는 스킬이 단순히 정보를 주입하는 것이 아니라, **잡음이 많은 실행 흐름을 절차적 안정 요소로 전환**하는 방식으로 작동한다는 통찰을 제공한다.

기술적 접근법

**Codex + GPT-5.3-Codex**, **Gemini CLI + Gemini-3.1-Pro-Preview**, **Qwen3-Embedding-0.6B** 모델을 사용한 실험.
**Terminal-Bench**, **SkillsBench** 데이터셋을 기반으로 **n=5**, **parallelism=20**의 실험 설정.
**8,135개의 제어 실험 기록**을 정규화하고, **240개의 open-coded 기록 중 238개의 유일 라벨**을 추출.
**4개의 연구 질문(RQ1–RQ4)**을 중심으로 스킬의 표현, 전이, 검색, 실행 단계를 비교 분석.
**Procedural anchoring**, **explicit knowledge injection**, **retrieval precision** 등의 메커니즘을 구분하여 분석.

주요 결과

**Procedural anchoring**이 스킬 성공의 주요 요인으로, 전체 스킬 사례의 **65.7%**를 차지.
**Workflow Memory 대비 6.06 포인트 개선**을 기록.
**Qwen3-Embedding-0.6B**를 사용한 실험에서, 스킬 풀 크기가 5에서 100으로 증가할 때 **실제 사용 정확도가 29.6%에서 3.3%로 급락**.
**Confusable distractors**는 오프라인 식별에 영향을 주지만, **다운스트림 성공률은 안정적**.
**정확한 ground-truth 호출이 성공의 필수 조건이 아님**을 밝힘.

의의 및 한계

본 연구는 스킬의 작동 메커니즘을 체계적으로 분류하고, **스킬 기반 에이전트의 자가 진화를 가능하게 하는 기초 이론**을 제시한다. 특히, 스킬이 단순히 정보를 주입하는 것이 아니라, **잡음 많은 실행을 절차적 안정 요소로 전환**하는 방식으로 작동한다는 점은 기존 인식을 재정의한다. 그러나, **스킬이 작동하지 않는 경우**는 **불안정한 가정, 불일치한 맥락, 부족한 적응** 등 다양한 요인에 의존하며, 이는 스킬의 **전이성과 적용 범위에 한계**를 드러낸다. 또한, **실험 환경 내에서만 검증된 모델**이므로, 실제 산업 환경에서의 일반화 가능성은 추가 연구가 필요하다.

실용적 활용

본 연구는 **LLM 에이전트의 자가 개선 시스템 설계**에 기여할 수 있으며, 특히 **툴 사용 에이전트의 반복 실패를 줄이는 데 활용**될 수 있다. 예를 들어, **코드 생성, 시스템 디버깅, 자동화된 작업 플로우** 등에서 스킬 기반 절차 안정화를 통해 **실행 오류를 감소시키고, 효율성을 향상**시킬 수 있다.