LoMo: Local Modality Substitution for Deeper Vision-Language Fusion

Vision-Language Models (VLMs) have achieved substantial progress across a wide range of understanding and reasoning tasks, driven by large-scale image-text training aimed at multimodal fusion. Ideally, replacing a textual question with its rendered-image counterpart should leave model performance essentially unaffected. In practice, however, such modality substitution induces dramatic performance degradation. We attribute this "carrier sensitivity" issue to an inherent bias in current training corpora. Across prevalent datasets such as image captioning, VQA, OCR, and web-sourced interleaved data, text and images are typically organized into distinct and asymmetric roles, with text serving as linguistic queries and images as visual references. Such data bias leads VLMs to exhibit distinct preferences for information acquisition across different modalities. Consequently, VLMs fail to align representations of semantically equivalent content across textual and visual carriers, making model reasoning fragile under modality substitution. To address this, we propose Local Modality Substitution (LoMo), a lightweight, architecture-agnostic data curation paradigm designed to provide supervision for cross-modal representational invariance between semantically equivalent text and image carriers. LoMo achieves this by reformulating single-modality prompts into seamlessly interleaved multimodal sequences. It dynamically selects target text spans and recasts them as rendered images, thereby preserving the same semantics across "text, visual, text" carriers. Extensive experiments across 13 diverse multimodal benchmarks demonstrate that LoMo significantly improves overall multimodal reasoning and yields deeper cross-modal fusion. Specifically, it delivers consistent gains across foundational models, improving over standard SFT by 2.67 points on LLaVA-OneVision-1.5-8B and 2.82 points on Qwen3.5-9B.

📋 한 줄 요약

**[VLM / Cross-Modal Fusion]** LoMo가 단일 모달 프롬프트를 "text·visual·text" interleaved sequence로 재구성해 의미 동일성 supervision 제공 — LLaVA-OneVision-1.5-8B +2.67pt·Qwen3.5-9B +2.82pt, carrier sensitivity 해소.

🎯 핵심 기여도

VLM이 multimodal fusion을 위한 large-scale 이미지-텍스트 학습으로 광범위한 이해·추론에서 substantial 진전 보였지만, 텍스트 질문을 rendered image로 대체하면 성능이 dramatic 저하되는 carrier sensitivity 문제 진단.
이 문제의 원인을 데이터 bias로 attribution — captioning·VQA·OCR·web interleaved 데이터에서 text는 linguistic query, image는 visual reference의 distinct·asymmetric 역할로 organize되어 VLM이 모달리티별 정보 획득에 distinct preference를 가지게 됨.
결과적으로 VLM이 semantically equivalent content의 representation을 텍스트·시각 carrier 간 정렬 실패, modality substitution 하에서 추론이 fragile해짐.
LoMo(Local Modality Substitution) 제안 — lightweight·architecture-agnostic 데이터 큐레이션 패러다임으로 semantically equivalent 텍스트·이미지 carrier 간 cross-modal representational invariance supervision; 단일 모달 프롬프트를 seamlessly interleaved multimodal sequence로 reformulate, dynamically target text span 선택 후 rendered image로 recast해 "text·visual·text" carrier 간 의미 보존.

💡 핵심 아이디어

VLM의 carrier sensitivity는 학습 데이터의 modality 역할 asymmetry에서 비롯되며, target text span을 rendered image로 dynamically 대체해 의미 동일한 interleaved sequence를 만들면 cross-modal invariance를 직접 supervise해 deeper fusion을 달성할 수 있다.

🔬 기술적 접근법

**방법론**: LoMo — Local Modality Substitution 데이터 큐레이션.
**핵심 기법**: (1) 단일 모달 프롬프트를 multimodal interleaved sequence로 reformulate, (2) Target text span을 동적 선택, (3) 선택 span을 rendered image로 recast, (4) "text·visual·text" carrier 간 semantic 보존, (5) Cross-modal invariance supervision으로 multimodal fusion 강화.

📊 주요 결과

13 다양 multimodal benchmark에서 광범위 실험.
전반 multimodal reasoning 유의 향상·deeper cross-modal fusion 달성.
LLaVA-OneVision-1.5-8B에서 standard SFT 대비 +2.67pt.
Qwen3.5-9B에서 +2.82pt.

💭 의의 및 한계

**의의**: VLM carrier sensitivity 문제 진단·해법 제시, architecture-agnostic 데이터 큐레이션으로 다양 foundation 모델에 적용 가능, 13 benchmark의 광범위 검증으로 일반성 입증. **한계**: Rendered image 생성의 시각 fidelity 의존, 매우 긴 span·복잡 텍스트의 rendering 한계, OCR-light 도메인에서의 효과 추가 검증.

🚀 실용적 활용

VLM 학습 데이터 augmentation 표준.
Multimodal 추론·이해 모델의 carrier-invariant 학습.
문서·UI·rendered text 응용의 robustness 강화.