llm-agents token-efficiency skillsbench skill-compilation reasoning-optimization model-reuse skill-execution boundary-guided
Abstract
Recently, skills have been widely adopted in large language model (LLM)-based agent systems across various domains. In existing frameworks, skills are typically injected into the agent reasoning loop as contextual guidance once matched to a runtime task, enabling specialized task-solving capabilities. We find that this execution paradigm introduces two major sources of redundancy: irrelevant context injection and repeated skill-specific reasoning and planning. To this end, we propose SkillSmith, a boundary-first compiler-runtime framework that compiles skill packages offline into minimal executable interfaces. By extracting fine-grained operational boundaries from skills, SkillSmith enables agents to dynamically access and execute only the relevant components at runtime, thereby minimizing unnecessary context injection and redundant reasoning overhead. In the evaluation on SkillsBench benchmark, SkillSmith reduces solve-stage token usage by 57.44%, thinking iterations by 42.99%, solve time by 50.57% (2.02x faster), and token-proportional monetary cost by 57.44% compared with using raw-skills. Moreover, compiled artifacts produced by a stronger model can be reused by a smaller or more efficient runtime model, improving task accuracy in cases where raw skill interpretation fails. The source code and data are available at https://github.com/AetherHeart-AI/Aeloon.
한국어 요약
📋 한 줄 요약
**[LLM 에이전트 / 효율성]** 스킬 패키지를 오프라인에서 최소 실행 인터페이스로 컴파일해 추론 컨텍스트와 계획 오버헤드를 함께 줄이는 boundary-first 프레임워크 SkillSmith 제안.
🎯 핵심 기여도
- 기존 LLM 에이전트 프레임워크에서 스킬이 런타임 태스크에 매칭되면 추론 루프에 컨텍스트로 주입되는 패턴이 (i) 무관한 컨텍스트 주입과 (ii) 반복되는 스킬별 추론·계획이라는 두 가지 redundancy를 일으킨다는 문제 진단.
- 스킬 패키지를 오프라인에서 최소 실행 인터페이스로 컴파일하는 boundary-first compiler-runtime 프레임워크 SkillSmith 제안.
- 스킬에서 fine-grained 운영 경계(boundary)를 추출해 런타임에 관련 컴포넌트만 동적으로 접근·실행하도록 함.
- SkillsBench 평가에서 raw-skill 대비 토큰 사용량 -57.44%, thinking iterations -42.99%, solve time -50.57%(2.02× 가속), 토큰 비례 비용 -57.44%.
💡 핵심 아이디어
스킬은 매번 "읽혀야 하는 문서"가 아니라 한 번 "컴파일되어야 하는 라이브러리"이며, 컴파일 결과는 더 작은 모델이 재사용할 수 있는 안정된 인터페이스가 된다.
🔬 기술적 접근법
- **모델/방법론**: 오프라인 컴파일 + 런타임 디스패치로 구성된 SkillSmith.
- **핵심 기법**: 스킬 패키지에서 fine-grained 경계 추출, 최소 실행 인터페이스 생성, 런타임에서 관련 컴포넌트만 동적 호출, 강한 모델로 컴파일한 산출물을 더 작은 모델이 재사용.
📊 주요 결과
- SkillsBench 솔브 단계 토큰 -57.44%.
- thinking iterations -42.99%, solve time -50.57%(2.02× 가속), 비용 -57.44%.
- 강한 모델 컴파일 산출물을 더 작은 런타임 모델이 재사용해 raw skill 해석이 실패하던 케이스에서 정확도 향상.
💭 의의 및 한계
**의의**: 에이전트 시스템의 효율성을 컨텍스트 엔지니어링이 아닌 컴파일러 추상화로 끌어올린 모범 사례. **한계**: 컴파일이 가능한 스킬 구조에 의존, 빠르게 변하는 스킬·휴리스틱 비중 높은 도메인에서의 재컴파일 비용은 검증 필요.
🚀 실용적 활용
- 대규모 멀티스킬 에이전트의 비용·지연 절감.
- 강한 모델 → 약한 모델로의 비용 효율적 지식 이전.
- 스킬 분배·버전 관리가 필요한 에이전트 마켓플레이스.