Birds of a Feather Flock Together: Background-Invariant Representations via Linear Structure in VLMs

Youssef Zaazou, Mark Thomas

arXiv:2605.11107 · 2026-05-13 공개 · arXiv · PDF

vision-language-models clip pre-training sim-to-real-transfer siglip embedding-decomposition background-invariance linear-additivity

Abstract

Vision-language models (VLMs), such as CLIP and SigLIP 2, are widely used for image classification, yet their vision encoders remain vulnerable to systematic biases that undermine robustness. In particular, correlations between foreground objects and their backgrounds constitute a salient and practically important class of spurious dependencies. In this work, we revisit the well-known property of high linear additivity in VLM embedding spaces and show that it enables a decomposition of scene representations into foreground and background components. Leveraging this insight, we introduce a pre-training approach that exploits this property to construct background-invariant representations using synthetic data. Our method achieves, to our knowledge, the first worst-group accuracy exceeding $90\%$ on Waterbirds under perfect ($100\%$) spurious correlation (i.e., no minority-group examples in the training data). Furthermore, it demonstrates strong sim-to-real transfer and requires no access to real-world debiased data, making it practical for real-world deployment.

한국어 요약

📋 한 줄 요약

**[비전-언어 / 강건성]** VLM 임베딩 공간의 선형 가산성을 활용해 장면 표현을 전경/배경 구성요소로 분해하고, 합성 데이터로 배경 불변(background-invariant) 표현을 학습하여 Waterbirds에서 100% 가짜 상관 환경에서도 worst-group 정확도 90% 초과를 최초로 달성한다.

🎯 핵심 기여도

💡 핵심 아이디어

VLM 임베딩 공간은 잘 알려진 선형 가산성을 가지므로, 장면 임베딩에서 배경 임베딩을 "빼면" 전경 중심 표현이 남는다. 이 성질을 사전훈련 단계에서 합성 데이터로 적극 활용하면 실세계 디바이어스 데이터 없이도 배경 가짜 상관에 강건한 표현을 학습할 수 있다.

🔬 기술적 접근법

📊 주요 결과

💭 의의 및 한계

**의의**: VLM의 잘 알려진 임베딩 성질을 강건성 문제에 명시적으로 활용한다는 점에서 단순하면서도 효과적이며, 실세계 디바이어스 데이터 수집이 어려운 도메인에서 큰 실용적 가치를 갖는다. **한계**: Waterbirds 외 다양한 가짜 상관 유형(질감, 자세 등)으로의 일반화는 추가 평가가 필요하고, 합성 데이터 품질과 다양성에 의존도가 크며 선형 가산성이 약화된 모델에서는 효과가 제한될 수 있다.

🚀 실용적 활용