SKILLER: Language-Level Reinforcement Learning for Reusable Skill Extraction in Small Language Models

Agent skills represent a standardized format for packaging procedural knowledge and domain expertise, serving within agent harness systems as an essential mechanism to continually constrain a language model's behavior space for repeatable, high-quality task execution. However, because strong closed-source models entail high inference costs, current popular agent harnesses, such as Codex and OpenClaw, remain prohibitively expensive when deploying these skills to accomplish real-world tasks. The rapid capability enhancement of open-source models deployable on consumer-grade GPUs presents a compelling opportunity to drastically reduce these costs by leveraging skill-based behavioral constraints. Nevertheless, automatically generating effective skills tailored specifically for such compact models remains a significant practical challenge. To address this, we propose SKILLER, a natural-language-driven reinforcement learning framework designed to automatically generate executor-specific skills for small models, which employs a strong model as the actor and critic, treats the small-model agent system as the environment, and propagates all reinforcement learning signals entirely via natural language. Extensive experimental evaluations across five relevant benchmarks using Qwen3.5-9B and Qwen3.5-4B demonstrate that SKILLER outperforms three open-source and one closed-source skill generation or evolution methods, achieving absolute gains ranging from 4.3 to 20.4 percentage points for the 9B model and 1.8 to 13.3 points for the 4B model, while remarkably matching the performance of strong closed-source models on single-skill tasks in SkillsBench. The project is available at https://github.com/DANG-ai/SKILLER.

한 줄 요약

SKILLER는 소형 언어 모델에 맞춤형으로 스킬을 생성하는 자연어 기반 강화 학습 프레임워크로, Qwen3.5-9B와 Qwen3.5-4B에서 기존 방법 대비 최대 20.4%의 성능 향상을 달성했다.

핵심 기여도

SKILLER는 소형 LVLM에 맞춘 스킬을 생성하기 위한 자연어 기반 강화 학습 프레임워크를 제안함.
Qwen3.5-9B와 Qwen3.5-4B 모델에서 기존 3개 오픈소스 및 1개 클로즈드소스 방법을 초과함.
9B 모델에서 4.3~20.4%, 4B 모델에서 1.8~13.3%의 절대 성능 향상 기록함.
강화 학습 신호를 자연어로만 전달하여 소형 모델의 행동 공간을 제약함.

핵심 아이디어

SKILLER는 소형 언어 모델의 행동 공간을 제약하기 위해, 자연어로 표현된 스킬을 강화 학습의 정책(policy)으로 취급하여 최적화하는 새로운 접근법을 제안한다. 기존 방법은 신경망 가중치를 업데이트하는 방식을 사용했으나, SKILLER는 스킬 자체를 최적화 대상으로 삼아, GPT-5.5나 Claude opus 4.8 같은 강력한 모델을 액터(actor)와 크리틱(critic)으로 활용한다. 이는 소형 모델(Qwen3.5-9B, Qwen3.5-4B)이 복잡한 작업을 수행할 때 발생하는 홀루시네이션(hallucination)이나 지나친 복잡성으로 인한 실패를 방지하는 데 기여한다. 또한, 모든 강화 학습 신호(상태, 보상, 정책 업데이트)가 자연어를 통해 전달되므로, 소형 모델과 강력한 모델 간의 추론 방식 차이를 해소할 수 있다.

기술적 접근법

**프레임워크 구조**: SKILLER는 액터-크리틱 강화 학습 구조를 사용하며, 액터와 크리틱은 GPT-5.5 또는 Claude opus 4.8 같은 강력한 모델이 담당함.
**환경**: Qwen3.5-9B 또는 Qwen3.5-4B가 실행하는 에이전트 루프가 강화 학습 환경 역할을 함.
**스킬 최적화**: 자연어로 표현된 스킬이 정책으로 취급되며, 크리틱 모듈이 실행 결과를 분석해 인과적 피드백을 생성하고, 액터 모듈이 이 피드백을 바탕으로 스킬을 수정함.
**진단 및 수정**: 구조화된 리플레이 메모리가 실패 사례, 진단 결과, 이전 수정 내역을 저장함.
**하이퍼파라미터**: 구체적인 학습률이나 배치 크기는 명시되지 않음.

주요 결과

**Qwen3.5-9B 모델**: 5개 벤치마크에서 기존 3개 오픈소스 및 1개 클로즈드소스 방법 대비 4.3~20.4%의 절대 성능 향상 기록함.
**Qwen3.5-4B 모델**: 1.8~13.3%의 절대 성능 향상 기록함.
**SkillsBench 단일 스킬 작업**: SKILLER는 강력한 클로즈드소스 모델과 유사한 성능을 달성함.
**비교 대상**: EvoSkill, AutoSkill, SkillX, Manus와 비교됨.

의의 및 한계

SKILLER는 소형 언어 모델에 맞춘 스킬 생성을 자동화함으로써, 고비용의 클로즈드소스 모델에 의존하지 않고도 높은 성능을 달성할 수 있는 새로운 패러다임을 제시한다. 특히, 자연어 기반 강화 학습을 통해 신경망 가중치 업데이트 없이도 정책을 최적화하는 점에서 기존 접근법과 차별화된다. 그러나 SKILLER는 강력한 모델(GPT-5.5, Claude opus 4.8)을 액터-크리틱으로 사용하므로, 이 모델들의 접근성과 비용이 한계로 작용할 수 있다. 또한, 실험은 Qwen3.5-9B와 Qwen3.5-4B에만 적용되었으며, 다른 소형 모델에서의 일반화 가능성은 추가 연구가 필요하다.

실용적 활용

SKILLER는 소형 언어 모델을 활용한 저비용 에이전트 시스템 구축에 적합하다. 특히, 반복적이고 구조화된 작업(예: 문서 분석, 코드 생성)에서 효과적으로 사용할 수 있으며, 소규모 기업이나 연구실에서 클로즈드소스 모델 대체로 활용할 수 있다. 또한, 자연어 기반 피드백 시스템을 활용한 스킬 개선 프로세스는 인간 감독 없이도 지속적인 정책 최적화를 가능하게 한다.