Where Reliability Lives in Vision-Language Models: A Mechanistic Study of Attention, Hidden States, and Causal Circuits

A pervasive intuition holds that vision-language models (VLMs) are most trustworthy when their attention maps look sharp: concentrated attention on the queried region should imply a confident, calibrated answer. We test this Attention-Confidence Assumption directly. We instrument three open-weight VLM families (LLaVA-1.5, PaliGemma, Qwen2-VL; 3-7B parameters) with a unified mechanistic pipeline -- the VLM Reliability Probe (VRP) -- that compares attention structure, generation dynamics, and hidden-state geometry against a single correctness label. Three results emerge. (i) Attention structure is a near-zero predictor of correctness (R_pb(C_k,y)=0.001, 95% CI [-0.034,0.036]; R_pb(H_s,y)=-0.012, [-0.047,0.024] on a pooled n=3,090 split), even though attention remains causally necessary for feature extraction (top-30% patch masking drops accuracy by 8.2-11.3 pp, p<0.001). (ii) Reliability becomes legible later in the computation: a single hidden-state linear probe reaches AUROC>0.95 on POPE for two of three families, and self-consistency at K=10 is the strongest behavioral predictor we measure at 10x inference cost (R_pb=0.43). (iii) Causal neuron-level ablations expose a sharp architectural split with direct monitor-design implications: late-fusion LLaVA concentrates reliability in a fragile late bottleneck (-8.3 pp object-identification accuracy after top-5 probe-neuron ablation), whereas early-fusion PaliGemma and Qwen2-VL distribute it widely and absorb destruction of ~50% of their peak-layer hidden dimension with <=1 pp degradation. The takeaway is narrow but consequential: in 3-7B VLMs, reliability is read more reliably off hidden-state geometry, layer-wise margin formation, and sparse late-layer circuits than off attention-map sharpness.

📋 한 줄 요약

**[VLM Interpretability / Reliability]** VLM의 신뢰성이 어텐션 맵의 선명도가 아닌 후기 층 히든 스테이트 기하, 마진 형성, 희소한 후기 회로에서 더 정확히 읽힌다는 기계적 증거를 제시한다.

🎯 핵심 기여도

'어텐션 맵이 선명할수록 VLM이 신뢰할 만하다'는 통념(Attention-Confidence Assumption)을 정량적으로 반박
3개 오픈 가중치 VLM 패밀리(LLaVA-1.5, PaliGemma, Qwen2-VL)에 통일된 기계론적 파이프라인 VRP 적용
어텐션이 인과적으로 필수이지만 정답 예측에는 거의 무관함을 분리
후기 융합/초기 융합 아키텍처가 신뢰성을 매우 다르게 분포시킴을 인과 절단 실험으로 입증

💡 핵심 아이디어

VLM이 '어떻게 답하는가'(어텐션 사용)와 '얼마나 신뢰할 수 있는가'(정답 확신도)는 서로 다른 회로에 있다. 신뢰성은 어텐션이 아니라 히든 스테이트 기하와 후기 층의 희소 회로에서 읽혀야 한다.

🔬 기술적 접근법

**모델/방법론**: VLM Reliability Probe(VRP) 파이프라인으로 어텐션 구조·생성 동역학·히든 스테이트 기하를 정답 라벨에 비교
**핵심 기법**: 어텐션-정답 점-이항 상관(R_pb), POPE 벤치마크에서 단일 히든 스테이트 선형 프로브 AUROC, K=10 자기일관성, 인과 뉴런 절단 실험

📊 주요 결과

어텐션 구조와 정답성의 상관: R_pb≈0.001 (n=3,090, 사실상 0)
상위 30% 패치 마스킹 시 정확도 8.2–11.3%p 하락(p<0.001): 어텐션은 인과적으로 여전히 필수
단일 히든 스테이트 선형 프로브가 POPE에서 AUROC>0.95 (3개 중 2개 패밀리)
K=10 자기일관성이 가장 강한 행동 예측자 (R_pb=0.43, 추론 비용 10배)
LLaVA(후기 융합): 상위 5개 프로브 뉴런 절단 시 객체 식별 정확도 -8.3%p로 매우 취약
PaliGemma/Qwen2-VL(초기 융합): 피크 층 히든 차원 ~50% 파괴해도 ≤1%p 하락

💭 의의 및 한계

**의의**: VLM 신뢰성 모니터링을 어텐션 맵 시각화에서 히든 스테이트 기반 프로빙으로 전환할 근거를 제공한다. **한계**: 평가가 3–7B 파라미터 3개 모델 패밀리와 POPE 등 특정 벤치마크로 제한되며, 더 큰 모델로의 일반화는 추가 연구가 필요하다.

🚀 실용적 활용

VLM 배포 환경에서의 신뢰성 실시간 모니터
안전 크리티컬 응용(의료 영상, 자율주행)에서의 출력 검증기 설계
아키텍처 선택 시 신뢰성 분포 특성 고려한 가이드