Does Seeing More Mean Knowing More? Mono-Anchored Advantage Normalization for Multi-Source Visual Reasoning

Visual reasoning through reinforcement learning with verifiable rewards (RLVR) has achieved remarkable progress. However, when dealing with multi-source inputs, existing approaches tend to treat them as a mere accumulation of information, lacking explicit mechanisms to distinguish whether integrating additional sources yields information gain or introduces interference. Therefore, they struggle to effectively model dynamic interaction when integrating multiple sources, particularly when they differ significantly in physical properties and semantics, e.g., infrared and depth, leading to inferior performance to mono-source reasoning when a certain source holds the dominant signal. To address this issue, we propose MARS, a novel mono-anchored multi-source reasoning framework that models each visual modality as an independent information source. Specifically, by treating mono-source rewards as dynamic anchors, our method explicitly incorporates the information gain introduced by multi-source fusion into advantage normalization and adaptively emphasizes mutual promotion between sources while suppressing potential noise or conflicts during RLVR. From theoretical analysis, our method effectively quantifies information gain introduced by multi-source integration in gradient estimation, enabling consistent modality regulation. Empirical results also show impressive 3.2% and 4.9% performance gains on GRPO and DAPO across diverse datasets, confirming effectiveness of our method.

📋 한 줄 요약

**[Multi-Source Visual Reasoning / RLVR]** MARS가 mono-source reward를 dynamic anchor로 활용해 multi-source fusion의 information gain을 advantage normalization에 명시 통합, GRPO·DAPO에서 3.2%·4.9% 성능 향상.

🎯 핵심 기여도

RLVR(검증 가능 보상 기반 강화학습) 활용 visual reasoning이 remarkable 진전, 그러나 multi-source 입력 다룰 때 기존 방법이 단순 정보 누적으로 취급 — 추가 source 통합이 information gain을 yield하는지 interference를 도입하는지 구분 메커니즘 부재 진단.
결과적으로 여러 source 통합 시 dynamic interaction을 효과적으로 모델링 못해 — 특히 source가 물리적 속성·의미에서 substantially 다를 때(예: 적외선·깊이) — 특정 source가 dominant signal 보유한 mono-source reasoning보다 성능 inferior해짐 지적.
MARS 제안 — mono-anchored multi-source reasoning 프레임워크: 각 visual modality를 독립 information source로 모델링.
Mono-source reward를 dynamic anchor로 취급, multi-source fusion이 도입하는 information gain을 advantage normalization에 명시 통합 — source 간 mutual promotion을 adaptive하게 강조·잠재 noise·conflict 억제(RLVR 동안).

💡 핵심 아이디어

Multi-source visual reasoning에서 단순 정보 누적은 dominant source의 성능을 약화시킬 수 있으며, mono-source reward를 dynamic anchor로 사용해 multi-source의 information gain을 advantage normalization에 명시 통합해야 source 간 mutual promotion과 conflict 억제를 동시 달성한다.

🔬 기술적 접근법

**방법론**: MARS — Mono-Anchored multi-source Reasoning, RLVR 프레임워크.
**핵심 기법**: (1) 각 visual modality를 독립 information source로 모델링, (2) Mono-source reward를 dynamic anchor로 활용, (3) Multi-source fusion의 information gain을 advantage normalization에 명시 통합, (4) Source 간 mutual promotion adaptive 강조·noise·conflict 억제, (5) 이론 분석으로 multi-source 통합의 gradient estimation에서 information gain 정량화, modality regulation 일관성 보장.

📊 주요 결과

GRPO에서 평균 3.2% 성능 향상.
DAPO에서 평균 4.9% 성능 향상.
다양 데이터셋에서 일관 개선.
적외선·깊이 등 물리적 속성 다른 modality에서 효과 입증.
이론 분석이 multi-source integration의 information gain을 gradient estimation에서 정량 확인.

💭 의의 및 한계

**의의**: Multi-source RLVR의 dominant source 약화 문제를 명확 진단·해결, advantage normalization을 information gain 기반으로 재정의하는 일반 패턴, GRPO·DAPO 두 SOTA RL 알고리즘에 일관 적용. **한계**: Mono-source reward 평가의 계산 추가 비용, 매우 많은 source(>3) 확장은 추가 검증, vision modality 중심 — 다른 modality(음성·텍스트) 일반화 후속.

🚀 실용적 활용

자율주행·로봇의 multi-sensor visual reasoning.
의료 영상(CT·MRI·PET) 결합 진단.
다중 modality LLM의 fusion 학습 일반화.