Self-Captioning Multimodal Interaction Tuning: Amplifying Exploitable Redundancies for Robust Vision Language Models

Current vision language models face hallucination and robustness issues against ambiguous or corrupted modalities. We hypothesize that these issues can be addressed by exploiting the shared information between modalities to compensate for the impaired one. To this end, we analyze multimodal interactions -- redundant (shared), unique (exclusive), and synergistic (emergent) task-relevant information provided by the modalities -- to determine their impacts on model reliability. Specifically, amplifying redundant interactions would increase this exploitable shared information to resolve these issues; yet, modern instruction datasets often eliminate redundancies to prioritize visual grounding. We bridge this gap through a self-captioning workflow featuring a \textsc{Multimodal Interaction Gate}: a mechanism to convert unique interactions into redundant interactions. Our findings suggest that increasing redundancy can reduce visual induced errors by 38.3\% and improve consistency by 16.8\%.

📋 한 줄 요약

**[비전-언어 / 강건성]** 멀티모달 상호작용 중 "공유 정보(redundancy)"를 의도적으로 증폭하는 자기 캡셔닝 튜닝으로 VLM의 환각·강건성 문제를 완화한 SCMIT.

🎯 핵심 기여도

멀티모달 상호작용을 redundant·unique·synergistic 세 종류로 구분해 모델 신뢰성과의 관계를 분석
현대 인스트럭션 튜닝이 시각 그라운딩을 위해 redundancy를 제거해 강건성을 해친다는 점 진단
"Multimodal Interaction Gate"를 통해 unique 정보를 redundant 정보로 변환하는 자기 캡셔닝 워크플로 제안
시각 유발 오류 38.3% 감소, 일관성 16.8% 개선

💡 핵심 아이디어

한 모달리티가 손상·모호해질 때 다른 모달리티가 공유 정보를 제공할 수 있다면 모델이 견딜 수 있다. 그러므로 학습 시 모달리티 간 중복 정보를 적극적으로 증폭해 "활용 가능한 잉여(exploitable redundancy)"를 키운다.

🔬 기술적 접근법

**모델/방법론**: SCMIT (Self-Captioning Multimodal Interaction Tuning) - VLM 위에 자기 캡셔닝 단계를 추가한 인스트럭션 튜닝
**핵심 기법**: Multimodal Interaction Gate가 unique 상호작용을 redundant로 변환, 모델이 스스로 생성한 캡션을 학습 신호로 재활용

📊 주요 결과

시각 유발 오류 38.3% 감소
모달리티 손상·모호화 시 응답 일관성 16.8% 개선
환각 감소와 견고성 향상을 동시에 달성

💭 의의 및 한계

**의의**: 인스트럭션 데이터 설계에서 무조건적 시각 그라운딩 강화가 능사가 아님을 보이며, 정보 이론 관점의 멀티모달 튜닝 설계 원칙을 제공. **한계**: redundancy를 늘리는 과정에서 시각 정보의 미세한 unique 단서가 희석될 위험, 자기 캡셔닝 품질에 결과가 좌우됨.

🚀 실용적 활용

노이즈 많은 산업·의료 영상에 강건한 VLM 어시스턴트
입력 모달리티가 불완전한 모바일·웨어러블 환경의 멀티모달 비서
환각 민감 도메인(법률·의료)에서의 응답 일관성 강화