TACO: Tool-Augmented Credit Optimization for Agentic Tool Use

Agentic multimodal models perform diverse operations on an image via code and reason over the returned view, an effective paradigm for fine-grained visual question answering. However, code operations can be useful, redundant, or misleading. Outcome-only rewards cannot precisely distinguish these cases, and existing process rewards either fail to attribute final correctness to individual tool calls, or require an external judge model. To address this, we introduce Tool-Augmented Credit Optimization (TACO), a GRPO variant for code-tool agents built on two coupled advantage channels. The first, Differential Answer-Probe Reward (DAPR), is a self-supervised, judge-free tool-contribution advantage that credits each tool call by its own effect on answering correctly. Probe tokens inserted into the model's reasoning elicit its predictions with and without the tool, and the difference in outcome reward is taken as the call's value: positive for a useful call, negative for a misleading one, and zero for one that changes nothing. This reuses the existing answer checker with no auxiliary judge, and, being a difference rather than an absolute probe score, is naturally robust to probe-hacking. The second is the outcome advantage from the final answer, distributed by Outcome-Gated Advantage Routing (OGAR): a parameter-free rule that, conditioned on the call's outcome, delivers this credit only to the responsible segments, suppressing wasted tool calls without any cost term. We train TACO through a two-stage SFT+RL pipeline. Extensive experiments across perception, reasoning, and general multimodal benchmarks show that it yields consistent accuracy gains and learns to invoke its tools only when they help.

한 줄 요약

TACO는 코드-툴 시각 에이전트의 도구 호출을 정확히 평가하기 위해 DAPR과 OGAR를 결합한 GRPO 변형 알고리즘으로, 정확도를 72.0%까지 향상시킨다.

핵심 기여도

TACO: GRPO 기반의 코드-툴 시각 에이전트 학습 알고리즘으로 DAPR과 OGAR을 결합.
DAPR: 도구 사용 전후의 모델 예측 차이를 기반으로, 도구 호출의 기여도를 자체적으로 평가하는 self-supervised reward.
OGAR: 최종 답변의 advantage를 도구 호출 결과에 따라 특정 토큰에만 전달하는 parameter-free routing 규칙.
전체 TACO는 72.0% 정확도를 달성하며, DAPR/OGAR 각각 제거 시 67.5% 및 70.0%로 성능 저하됨.

핵심 아이디어

기존 RLVR은 도구 호출의 기여도를 정확히 평가하지 못하며, 외부 판단 모델에 의존하거나 도구의 결과만 기준으로 평가한다. TACO는 이 문제를 해결하기 위해, 도구 호출 전후의 모델 예측 차이(DAPR)를 기반으로 자체적으로 도구의 기여도를 평가하고, 최종 답변의 advantage를 도구 호출 결과에 따라 특정 토큰에만 전달하는 OGAR을 결합한다. 이는 도구 호출이 유용한 경우에만 보상을 주고, 불필요하거나 오도하는 호출은 억제한다. DAPR은 기존 answer checker를 재사용하며, OGAR은 parameter-free로 구현되어 추가 비용 없이 구현 가능하다.

기술적 접근법

**TACO**: GRPO 기반의 코드-툴 시각 에이전트 학습 알고리즘.
**DAPR**: 도구 호출 전후의 모델 예측(a₁, a₂)을 비교하여, 두 예측 간의 차이를 도구 호출의 기여도로 평가.
**OGAR**: 최종 답변의 advantage를 도구 호출 결과에 따라 특정 토큰(코드 및 T₂)에만 전달.
**학습 파이프라인**: SFT(초기 학습) → GRPO(강화 학습)의 2단계 학습.
**하이퍼파라미터**: 추가 비용 없이 기존 answer checker 재사용, parameter-free 구조.

주요 결과

TACO는 12개의 벤치마크에서 평균 정확도 72.0% 달성.
DAPR 제거 시 67.5% (−4.5%), OGAR 제거 시 70.0% (−2.0%)로 성능 저하.
Qwen3-VL 기반 모델로도 이전되어, 성능 향상이 기반 모델이나 데이터가 아닌 메커니즘에서 비롯됨을 확인.

의의 및 한계

TACO는 도구 호출의 기여도를 정확히 평가하여 불필요한 호출을 억제하고, 유용한 호출을 강화함으로써 시각 질문 답변 성능을 향상시킨다. DAPR은 외부 판단 모델 없이 자체적으로 기여도를 평가하며, OGAR은 parameter-free로 구현되어 실용적이다. 그러나 학습 과정에서 어떤 도구 호출이 유용한지를 정확히 학습하는 것이 여전히 어려운 한계점이다. 또한, 도구 호출의 효과를 정확히 평가하기 위해 before/after 예측을 비교하는 방식은 특정 상황에서 오류를 유발할 수 있다.

실용적 활용

TACO는 시각 질문 답변, 이미지 분석, 코드 기반 이미지 변형 등 다양한 시각-언어 작업에 적용 가능하다. 특히, 도구 호출이 정확히 필요할 때만 수행되도록 유도하여, 실시간 이미지 분석 시스템이나 자동화된 시각 인식 플랫폼에서 유용하게 활용될 수 있다.