VAD: Attributing Visual Evidence for Target Reconstruction in Multimodal On-Policy Distillation

Multimodal on-policy distillation (OPD) transfers fine-grained visual knowledge by supervising student-generated trajectories with a privileged-view teacher. Yet its next-token corrections are source-mixed, combining visual signals with linguistic priors and teacher-specific effects. The key challenge is to estimate which corrections are supported by visual evidence, not merely where or how strongly to distill. We introduce Visual Attribution Distillation (VAD), a counterfactual target-reconstruction algorithm that estimates the visually attributable part of a teacher correction. At each student-generated prefix, VAD evaluates the same fixed teacher with the relevant evidence present and removed. The corresponding change in centered log-probabilities defines ut, a signed proxy for the visual evidence direction that estimates how revealing the evidence supports or refutes candidate tokens. VAD projects the original correction onto this proxy to obtain an intervention-aligned component and a proxy-unexplained residual, then reconstructs a student-anchored target from the former. During training, this reconstructed target supplies the primary supervision signal, while the privileged teacher contributes a weak regularizer. Across six fine-grained visual benchmarks at 4B and 9B scales, VAD outperforms direct privileged-view distillation and visual-advantage weighting. Token- level and controlled-target analyses show that the proxy-aligned component is enriched in task-relevant visual corrections and yields stronger target shifts, especially when evidence refutes a mistaken answer. These results support counterfactual target reconstruction as an effective alternative to source-mixed supervision.

한 줄 요약

VAD는 시각적 증거 기반의 교정 성분을 추정하고 재구성하여 멀티모달 온-폴리시 디스틸레이션의 성능을 향상시킨다.

핵심 기여도

**Source-mixed teacher correction** 문제를 명확히 정의하고, 기존 방법(Vision-OPD, VA-OPD)의 한계를 분석함.
**VAD 알고리즘**을 제안: 교정 성분을 시각적 증거 기반(proxy-aligned component)과 잔차(proxy-unexplained residual)로 분리하고, 재구성된 타겟을 학습에 활용함.
4B 및 9B 규모의 6개 **fine-grained 시각 벤치마크**에서 기존 방법 대비 일관된 성능 향상 (예: 23.2% 및 22.8%의 교정이 기존 방법에서 증거와 강하게 정렬되지 않음).
**Proxy-aligned component**가 정답 토큰을 지원하고 오답 토큰을 억제함을 토큰 수준 분석과 제어된 타겟 분석을 통해 입증함.

핵심 아이디어

기존 멀티모달 온-폴리시 디스틸레이션(OPD)은 학습자(student)가 생성한 prefix에 대해 강자(teacher)의 교정을 학습하지만, 이 교정이 시각적 증거에 기반한 것인지 구분하지 못한다. VAD는 이 문제를 해결하기 위해 **counterfactual target reconstruction**을 도입한다. 학습자가 생성한 prefix에 대해, **evidence-present view**와 **evidence-removed view**에서 동일한 teacher를 질의하고, 이에 따른 **centered log-probability 변화량**인 $ u_t $를 계산하여 시각적 증거의 방향을 proxy로 추정한다. 이 proxy를 기반으로 원본 교정을 **intervention-aligned component**와 **proxy-unexplained residual**로 분리하고, 재구성된 타겟을 학습에 사용한다. 이는 기존 방법이 단순히 교정 강도를 조절하는 데 집중한 것과 달리, **무엇을 교정할지**를 재구성하는 새로운 접근법이다.

기술적 접근법

**VAD 알고리즘**:
학습자가 생성한 prefix에 대해, teacher를 evidence-present view와 evidence-removed view에서 각각 질의함.
두 view의 centered log-probability 차이를 $ u_t $로 정의함.
$ u_t $를 기반으로 원본 교정을 projection하여 **intervention-aligned component**와 **proxy-unexplained residual**로 분리함.
재구성된 타겟은 intervention-aligned component를 기반으로 생성되며, 이는 학습의 주 학습 신호가 됨.
원본 teacher 교정은 약한 정규화자(weak regularizer)로 사용됨.
**하이퍼파라미터**:
정규화 가중치 $ \lambda $, 양의 분기 상한 $ \tau_+ $ 등을 조절하여 학습 안정성과 성능을 조정함.
**모델 규모**: 4B 및 9B 규모의 학습자 모델에서 실험됨.

주요 결과

**4B 및 9B 모델**에서 VAD는 direct privileged-view distillation 및 visual-advantage weighting 대비 일관된 성능 향상을 보임.
기존 Vision-OPD에서 4B 모델의 23.2%, 9B 모델의 22.8%만 teacher의 증거와 강하게 정렬됨.
VAD의 proxy-aligned component는 **task-relevant visual corrections**가 풍부하고, 특히 오답 토큰을 반박하는 경우 **강한 target shift**를 유도함.
**Token-level 분석**과 **controlled-target 분석**을 통해 proxy-aligned component가 시각적, 정답 토큰을 강화하고, 오답 토큰을 억제함을 입증함.

의의 및 한계

VAD는 멀티모달 온-폴리시 디스틸레이션에서 **source-mixed 교정** 문제를 해결하고, **시각적 증거 기반의 정확한 교정**을 가능하게 함. 이는 학습자 모델이 실제 시각적 정보에 기반한 정답을 생성하도록 유도하는 데 기여하며, 멀티모달 추론의 정확도를 향상시키는 데 실용적 가치가 있음. 그러나 한계도 존재함. 첫째, 한 쌍의 view만 사용하여 추정하는 $ u_t $는 **조합적 증거**를 왜곡할 수 있음. 둘째, proxy-aligned component는 비시각적 teacher 효과를 포함할 수 있으며, 잔차는 여전히 source-mixed 상태임. 따라서 **학습된 분해**와 **grounding 제약**이 필요함.

실용적 활용

VAD는 멀티모달 대형 언어 모델(MLLM)에서 시각적 오류를 감지하고 교정하는 데 유용함. 특히, **초기 인식 오류**가 전체 추론 경로를 틀리게 만드는 상황에서 효과적임. 의료 영상 분석, 자동차 내비게이션, 쇼핑 추천 시스템 등 시각 정보가 중요한 산업 분야에서 활용 가능함.