Toward Skill-Native LLMs: Skill Entropy for Benchmarking and Training Long-Horizon Reasoning

Long-horizon reasoning in recent LLMs demands that the model switch between distinct skills inside a reasoning chain, such as first doing a math derivation, then using the result to plan a schedule. We call such problems cross-skill long-horizon tasks: multi-step tasks whose steps require different reasoning skills and depend on earlier outputs. Existing benchmarks often evaluate individual skills, lacking a principled way to measure how well a model switches between skills. We address this gap from both the evaluation and training sides. We introduce Skill Entropy, a measure of the difficulty of switching from one skill to another. We then propose Skill^2-Bench, a benchmark of cross-skill long-horizon tasks built over 558 skills across 9 verifiable and open-ended domains. Each task is assigned a task-level skill-entropy score and grouped into three difficulty levels. Evaluating 8 frontier and 4 open-source models on Skill^2-Bench reveals a skill-switching gap: accuracy decreases on higher-entropy tasks. We then turn skill entropy from a benchmark scale into a training signal. We propose Skill-Entropy RL, an RL framework where the model predicts not only the answer at each step but also the skill used to produce it. The reward combines step-level correctness with a skill-entropy reward that measures the alignment between the model-predicted skill sequence and the gold skill sequence. On Qwen3-4B-Instruct and Qwen3-1.7B, Skill-Entropy RL improves the Skill^2-Bench score from 34.4% to 68.4% and from 14.6% to 40.1%, respectively, outperforming competitive baselines. The same pipeline can be applied to off-the-shelf training data such as OpenR1-Math, indicating that skill entropy is a reusable training signal. Code available at: https://github.com/Gen-Verse/Skill-Entropy-RL

한 줄 요약

Skill Entropy와 Skill²-Bench를 제안하여 LLM의 장기적 추론 능력 평가 및 훈련을 개선한다.

핵심 기여도

Skill Entropy: 기술 간 전환 난이도를 측정하는 지표를 정의 (Equation 3 참조).
Skill²-Bench: 558개 기술, 9개 도메인에 걸친 장기적 추론 평가 벤치마크를 제안.
Skill-Entropy RL: 기술 전환을 훈련 신호로 활용하는 강화 학습 프레임워크를 제안.
Qwen3-4B-Instruct 모델에서 Skill²-Bench 정확도를 34.4% → 68.4%로 향상.

핵심 아이디어

기존 LLM 평가 방식은 단일 기술에 집중하며, 여러 기술 간 전환 능력을 측정하지 못한다. 본 연구는 장기적 추론 과제에서 모델이 여러 기술을 순차적으로 전환하는 능력을 평가하기 위해 **Skill Entropy**라는 새로운 지표를 도입한다. 이는 기술 간 전환의 난이도를 측정하는 ** направлен한 쌍별 점수**로, 각 과제의 전체 기술 전환 난이도를 합산하여 **task-level skill entropy**를 산출한다.

이를 기반으로 **Skill²-Bench**라는 새로운 벤치마크를 제안하며, 9개 도메인(수학, 코딩, 과학 등)에 걸쳐 558개 기술을 포함한다. 평가 결과, 기존 모델은 기술 전환 시 정확도가 감소하는 **skill-switching gap**을 보인다.

이러한 문제를 해결하기 위해 **Skill-Entropy RL**이라는 강화 학습 프레임워크를 제안한다. 이는 각 단계에서 모델이 답변뿐만 아니라 **사용한 기술을 예측**하도록 유도하며, **step-level 정확도**와 **skill-entropy reward**를 결합한 보상을 사용한다. 이는 기술 전환의 일관성을 훈련 단계에서 강화한다.

기술적 접근법

**Skill Entropy**: 기술 간 전환 난이도를 측정하는 지표로, 방정식 3을 사용하여 계산.
**Skill²-Bench**: 558개 기술, 9개 도메인(수학, 코딩, 과학, 계획, 논리 등)을 포함.
**Skill-Entropy RL**: 강화 학습 프레임워크로, 각 단계에서 기술 라벨을 예측하고, **skill-entropy reward**를 통해 기술 전환 일관성을 강화.
**Reward 구성**: 최종 답변 정확도(λans=0.7)와 기술 일관성 보상(λent=0.3)을 결합.
**훈련 데이터**: OpenR1-Math와 같은 off-the-shelf 데이터셋에도 적용 가능.

주요 결과

Qwen3-4B-Instruct: Skill²-Bench 정확도 34.4% → 68.4% 향상.
Qwen3-1.7B: Skill²-Bench 정확도 14.6% → 40.1% 향상.
GRPO 대비 +9.6%, +7.9% 개선.
STAT 대비 +7.0%, +7.1% 개선.
9개 도메인 중 7개에서 최고 정확도 달성.
Creative Writing 도메인에서 가장 큰 성능 향상.
MuSR, LongBench-MuSiQue 등 외부 벤치마크에서도 성능 향상.

의의 및 한계

Skill Entropy는 기술 전환의 난이도를 정량적으로 평가할 수 있는 새로운 지표로, 기존 평가 방식의 한계를 보완한다. Skill-Entropy RL은 기술 전환 일관성을 훈련 단계에서 강화하여, 기존 모델이 단일 기술에서는 잘 작동하지만, 복합적 과제에서는 실패하는 문제를 해결한다.

그러나, Skill Entropy는 기술 간 관계를 사전에 정의해야 하므로, **새로운 도메인 추가 시 수동 조정이 필요**하다. 또한, 기술 라벨링 과정은 **수작업 또는 별도의 어노테이션 프로세스가 필요**하다는 점이 한계로 작용할 수 있다.

실용적 활용

Skill Entropy와 Skill-Entropy RL은 **복합적 추론이 필요한 인공지능 시스템**(예: 연구 보고서 작성, 여행 계획 수립)에 적용 가능하다. 특히, **다중 도메인에서 일관된 추론 능력을 요구하는 산업**(예: 금융, 의료, 법률 분석)에서 유용하게 활용될 수 있다. OpenR1-Math와 같은 오픈 데이터셋에 적용 가능하므로, **기존 훈련 파이프라인에 쉽게 통합**할 수 있다.