📋 한 줄 요약
**[멀티모달 / 모델 편향]** 이미지에 삽입된 숫자 앵커가 6개 VLM의 품질 판단을 체계적으로 편향시키며, 이 편향은 시각적 변화로 환원되지 않는 표현 동역학과 인과적으로 연결됨을 규명.
🎯 핵심 기여도
- 5개 아키텍처 패밀리의 6개 VLM에서 embedded numeric anchor가 품질 판단을 체계적으로 편향시킴을 ANOVA $\eta^2 = 0.18\text{–}0.77$ ($p<0.001$)로 정량화.
- 앵커 효과 크기가 심각한 이미지 품질 저하 효과보다 2.5배 커서 단순 시각 변화로 환원되지 않음을 확인.
- 레이어별 프로빙으로 앵커 분류가 포화되는 레이어(L12–L34)와 품질 예측 최적 레이어가 dissociate됨을 발견($R^2=0.69\text{–}0.91$의 최적 레이어는 더 깊은 위치).
- fusion 분석으로 instant fusion(L1–L2, 2개 모델), partial/no fusion(3개 모델)이라는 아키텍처 의존적 통합 양상을 식별.
💡 핵심 아이디어
VLM의 "시각적 앵커링 편향"은 단순 입력 픽셀 변화의 결과가 아니라 텍스트·시각 정보가 레이어별로 통합되는 동역학의 산물이다. 즉 행동적 취약성과 내부 표현 동학을 인과적으로 연결할 수 있다.
🔬 기술적 접근법
- **모델/방법론**: 5개 아키텍처 패밀리 6개 VLM에 대해 동일 이미지에 numeric anchor를 삽입·미삽입하는 통제 실험.
- **핵심 기법**: ANOVA 효과 크기로 편향 정량화, 레이어별 probing으로 anchor classification 정확도와 quality prediction $R^2$ 비교, fusion 시점 분석으로 모달 통합 양상을 모델별로 식별.
📊 주요 결과
- 모든 6개 VLM에서 앵커 효과 통계적으로 유의 ($p<0.001$).
- 앵커 영향이 심각한 화질 저하 영향의 2.5배.
- anchor classification 포화 레이어와 quality prediction 최적 레이어가 일관되게 분리.
- 모델별 fusion 패턴이 instant/partial/no로 명확히 구분.
💭 의의 및 한계
**의의**: VLM 평가 신뢰성을 위협하는 표면적 편향이 표현 학습 동학에 뿌리를 둔다는 인과적 설명을 제공해 후속 mitigation 연구의 토대 마련. **한계**: 분석이 정적 이미지·숫자 앵커에 집중되며 다른 유형의 텍스트 오버레이·동영상 시나리오 일반화는 추가 연구 필요.
🚀 실용적 활용
- VLM 기반 품질 평가·심사 시스템의 anchor-aware preprocessing 가이드라인.
- 모델 해석성 도구의 layer-wise probing 표준 절차 정립.
- VLM 평가 벤치마크 설계 시 anchor 오염 방지 프로토콜 도입.