ToolRL: Reward is All Tool Learning Needs

Current Large Language Models (LLMs) often undergo supervised fine-tuning (SFT) to acquire tool use capabilities. However, SFT struggles to generalize to unfamiliar or complex tool use scenarios. Recent advancements in reinforcement learning (RL), particularly with R1-like models, have demonstrated promising reasoning and generalization abilities. Yet, reward design for tool use presents unique challenges: multiple tools may be invoked with diverse parameters, and coarse-grained reward signals, such as answer matching, fail to offer the finegrained feedback required for effective learning. In this work, we present the first comprehensive study on reward design for tool selection and application tasks within the RL paradigm. We systematically explore a wide range of reward strategies, analyzing their types, scales, granularity, and temporal dynamics. Building on these insights, we propose a principled reward design tailored for tool use tasks and apply it to train LLMs using Group Relative Policy Optimization (GRPO). Empirical evaluations across diverse benchmarks demonstrate that our approach yields robust, scalable, and stable training, achieving a 17% improvement over base models and a 15% gain over SFT models. These results highlight the critical role of thoughtful reward design in enhancing the tool use capabilities and generalization performance of LLMs. All the codes are released to facilitate future research.

한 줄 요약

ToolRL은 강화학습 기반의 보상 설계를 통해 LLM의 도구 사용 능력을 17% 향상시키는 체계적인 연구이다.

핵심 기여도

GRPO 알고리즘을 활용한 도구 선택 및 적용을 위한 체계적인 보상 설계 프레임워크 제안.
다양한 보상 전략(종류, 스케일, 세분성, 시간적 동역학)을 실험적으로 분석하여 17%의 기저 모델 개선, 15%의 SFT 모델 개선 달성.
도구 사용 시 긴 추론 경로가 항상 유리하지 않다는 통찰 제시.
보상 세분화가 학습 안정성과 효과성을 높인다는 실증적 증거 제시.

핵심 아이디어

기존의 도구 사용 학습은 SFT를 통해 이루어졌으나, 이는 복잡한 상황에서 일반화 능력이 제한된다. 본 연구는 도구 통합 추론(TIR)에서 강화학습, 특히 GRPO 알고리즘을 활용한 보상 설계의 중요성을 강조한다. TIR는 다단계, 다중 도구 사용이 필요한 상황에서 모델이 적절한 도구를 선택하고, 중간 결과를 해석하며, 전략을 실시간으로 조정해야 하기 때문에, 단순한 정답 일치와 같은 거친 보상 신호는 부적절하다. 따라서 본 연구는 보상의 종류, 스케일, 세분성, 시간적 변화를 고려한 체계적인 보상 설계를 제안하며, 이를 통해 모델이 보다 유연하고 일반화된 도구 사용 능력을 얻도록 유도한다.

기술적 접근법

**도구 통합 추론**(TIR) 문제를 정의하고, **GRPO**(Group Relative Policy Optimization) 알고리즘을 사용하여 LLM을 학습.
**보상 설계**는 4가지 차원(종류, 스케일, 세분성, 시간적 동역학)으로 분석.
**롤아웃 전략**(rollout strategy)을 통해 다중 도구 사용 시뮬레이션 수행.
**보상 세분화**(finegrained reward decomposition)를 통해 학습 안정성 향상.
**동적 보상 스케일**(dynamic reward scale)을 적용하여 단순한 행동에서 복잡한 전략으로의 전이를 촉진.
**길이 보상**(length reward)은 성능 저하를 유발하므로 사용하지 않음.

주요 결과

**기저 모델 대비 17%**, **SFT 모델 대비 15%**의 성능 향상.
**QA 벤치마크**에서 모델이 **복잡한 다중 도구 사용**을 포함한 상황에서도 **강한 일반화 능력**을 보임.
**GRPO 알고리즘**을 사용한 학습이 **PPO**와 비교해도 **더 높은 안정성과 성능**을 보임.
**보상 세분화**를 통해 **학습 안정성**이 향상됨.

의의 및 한계

본 연구는 도구 사용 학습에서 강화학습, 특히 GRPO 기반 보상 설계의 효과성을 입증하며, LLM을 에이전트로 확장하는 기초를 제공한다. 특히, 보상 설계가 단순한 정답 일치를 넘어, 다중 도구 사용, 중간 결과 해석, 전략적 조정을 가능하게 하는 핵심 요소임을 밝혔다. 그러나 본 연구는 특정 도구 세트와 벤치마크에 국한된 실험을 기반으로 하므로, 보다 다양한 도구와 실제 세계 상황에서의 일반화 능력을 검증하는 추가 연구가 필요하다. 또한, 보상 설계는 모델 아키텍처나 학습 데이터에 따라 달라질 수 있으므로, 보다 유연한 보상 전략 개발이 요구된다.

실용적 활용

ToolRL은 과학적 발견, 연구 자동화, 일상적 의사결정 등 다양한 도구와 상호작용이 필요한 분야에서 LLM의 능력을 향상시키는 데 활용될 수 있다. 특히, 계산 정확도, 실시간 정보 접근, 다중 단계 추론이 요구되는 산업 현장에서 유용할 것으로 기대된다.