The fundamental goal of agentic visual reasoning is to improve the success rate of multimodal large language models (MLLMs) on complex tasks, rather than merely equipping them with a sophisticated yet inefficient reasoning paradigm. In this work, we rethink agentic visual reasoning through two key dimensions of tool use: Mode Adaptiveness (MA) and Tool Effect (TE). Mode Adaptiveness characterizes whether an MLLM can recognize when tools are truly necessary and invoke them accordingly, thereby avoiding unnecessary computational overhead while improving performance on challenging problems that require tool assistance. Tool Effect characterizes the actual impact of tool use: tools should extend the model's capabilities on problems unsolvable through text-only reasoning, while avoiding additional errors on problems that the model can already solve without tools. We conduct a comprehensive analysis to quantify these two properties and empirically reveal that existing agentic visual reasoning models exhibit limited Mode Adaptiveness, while the gains produced by tool use on hard examples are largely offset by the harm introduced on easy examples that the models can already solve. Motivated by these observations, we propose Beacon, a novel agentic visual reasoning model that achieves stronger overall performance, improved Mode Adaptiveness, and genuine tool-induced performance gains. At the core of Beacon are the Necessity-Aware Adaptive Reward and the Hint-Guided Capability Expansion mechanism in the reinforcement learning stage, which respectively encourage adaptive tool invocation based on task necessity and strengthen the model's tool-use capability on the most challenging problems. Extensive experiments across diverse benchmarks demonstrate the strong overall performance of Beacon and its substantial improvements in both Mode Adaptiveness and Tool Effect.
한 줄 요약
Beacon은 도구 사용의 적절성과 효과성을 동시에 향상시킨 새로운 에이전트형 시각 추론 모델로, 강화 학습 기반의 Necessity-Aware Adaptive Reward와 Hint-Guided Capability Expansion을 핵심으로 한다.
핵심 기여도
- 기존 모델의 Mode Adaptiveness (도구 사용 적응성)이 제한적임을 실증적으로 분석.
- Beacon은 13개 벤치마크에서 최고 평균 성능을 달성.
- Necessity-Aware Adaptive Reward와 Hint-Guided Capability Expansion 모듈을 통해 도구 사용의 필요성에 따른 적응적 호출과 어려운 문제 해결 능력을 강화.
- 도구 사용의 이익과 손실 간 가장 큰 격차를 보여, Tool Effect를 개선.
핵심 아이디어
기존 에이전트형 시각 추론 모델은 도구 사용이 항상 유리하지 않다는 점을 간과했다. Beacon은 도구 사용이 필요한 상황을 판단하는 **Mode Adaptiveness**와 도구 사용이 모델의 능력을 확장하는 **Tool Effect** 두 가지 차원을 도입하여, 도구 사용의 적절성과 효과성을 동시에 평가한다.
Beacon은 **Necessity-Aware Adaptive Reward**를 통해 도구 호출이 필요할 때만 강화 학습을 유도하고, **Hint-Guided Capability Expansion**를 통해 도구 사용을 통해 해결할 수 없는 문제에서 학습 신호를 복구한다. 이는 기존 RL이 실패하는 어려운 예제에서도 모델의 도구 사용 능력을 향상시킨다. 이는 단순히 도구 사용 빈도가 아닌, **"언제"**와 **"어떻게"** 도구를 사용하는지에 초점을 맞춘 새로운 접근법이다.
기술적 접근법
- **Necessity-Aware Adaptive Reward**: 도구 호출이 필요할 때만 강화 학습을 유도.
- **Hint-Guided Capability Expansion (HCE)**: 도구 없이 해결 불가능한 문제에서 학습 신호를 복구.
- **SFT 데이터 합성 파이프라인**: 기본적인 코드 사용 능력을 훈련에 반영.
- **강화 학습 프레임워크**: 도구 사용의 적응성과 효과성을 동시에 향상.
- **도구 사용 범위**: 이미지 크롭, 어노테이션, 향상, 회전, 스티칭, 픽셀 수준 계산, 복잡한 수치 계산 등.
주요 결과
- Beacon은 13개 벤치마크에서 최고 평균 성능 달성.
- 기존 모델 대비 **Mode Adaptiveness**가 개선됨.
- 도구 사용의 이익과 손실 간 가장 큰 격차를 보여, **Tool Effect**가 향상됨.
- **Text-Retain** 지표에서 높은 점수를 기록, 도구 없이도 정확한 추론 유지.
- **Necessity-Aware Adaptive Reward**만 사용한 경우 Mode Adaptiveness가 가장 높음.
- **HCE 모듈** 추가 시 Tool Effect 개선.
의의 및 한계
Beacon은 도구 사용의 적절성과 효과성을 동시에 평가하는 새로운 체계를 제시하며, 기존 모델이 단순히 도구 사용 빈도에 의존하는 한계를 극복한다. 특히, 도구 사용이 필요하지 않은 문제에서는 오류를 최소화하고, 어려운 문제에서는 능력을 확장하는 방식이 학술적·실용적 의미가 크다.
하지만, Beacon은 특정 도구 집합에 의존하며, 도구의 범용성과 확장성에 대한 연구는 아직 제한적이다. 또한, 강화 학습 기반 훈련은 데이터와 컴퓨팅 자원이 많이 소요되며, 이는 모델의 대규모 배포에 장애가 될 수 있다.
실용적 활용
Beacon은 복잡한 시각 추론이 필요한 산업 분야, 예를 들어 의료 영상 분석, 자동차 시스템 디버깅, 로봇 시각 제어 등에 적용 가능하다. 또한, 교육 분야에서 복잡한 다중 모달 문제 해결을 지원하는 인지 도우미 역할도 할 수 있다.