Stuck on Shuffle: On Attribute-Object Binding in Vision-Language Models

Retrieval is a fundamental task in multimodal systems: given an image or text query, the goal is to find the most relevant images or texts in a collection, often using a shared embedding space. Reliable retrieval requires these embeddings to capture not only which concepts are present, but also how they are composed. One key compositional challenge is attribute--object binding: encoding which attributes belong to which objects. Existing benchmarks provide a limited view of this capability, typically covering a subset of modality pairings, simple two-object swaps, or small attribute sets. Consequently, it remains unclear how robustly current models preserve attribute--object bindings across different modality pairings and more complex settings. We therefore introduce SABER, a controlled benchmark for evaluating attribute--object binding across all four image and text modality pairings, spanning diverse attribute types and scenes with up to ten objects. Evaluating models on SABER reveals substantial binding failures in both CLIP-style dual encoders and recent MLLM-based embedders. These findings motivate us to ask how binding can be improved efficiently. While multimodal supervision may be effective, collecting suitable images is difficult and costly. Text, on the other hand, is well suited to binding supervision: it is cheap to generate, supports a broader range of attributes and enables precisely controlled hard negatives. We thus finetune an MLLM-based embedder exclusively on synthetic attribute-binding text. Despite the absence of image supervision, the gains transfer to cross-modal and image--image retrieval while preserving general multimodal embedding performance. Our model achieves SOTA results on SABER while also improving on negation and instance-retrieval benchmarks, demonstrating broader benefits of our binding-focused supervision.

한 줄 요약

SABER라는 새로운 벤치마크를 통해 VLM의 속성-객체 결합 능력을 평가하고, 텍스트 기반 미세조정으로 성능을 향상시킨다.

핵심 기여도

SABER: 최대 10개 객체를 포함한 4가지 모달리티 쌍에서 속성-객체 결합을 평가하는 컨트롤드 벤치마크.
텍스트 기반 미세조정으로 CLIP 스타일 및 MLLM 기반 임베딩 모델의 결합 실패를 개선.
SABER에서 최고 성능 달성 (SOTA) 및 다른 벤치마크 (부정, 인스턴스 검색)에서도 개선.
이미지 없이 텍스트만으로 학습해도 교차-모달리티 및 이미지-이미지 검색 성능 향상.

핵심 아이디어

속성-객체 결합(Attribute-Object Binding)은 시각-언어 모델(VLM)에서 개념이 어떻게 구성되는지를 정확히 잡는 데 핵심이다. 기존 연구는 대부분 단순한 두 객체 스왑이나 색상 속성에만 집중해, 실제 복잡한 상황에서의 결합 능력을 제대로 평가하지 못했다. 본 연구는 SABER라는 새로운 벤치마크를 통해 다양한 객체와 속성, 4가지 모달리티 쌍에서 결합 실패를 정량적으로 평가한다. 또한, 직접적인 이미지 수집 대신 텍스트 생성을 활용한 결합 지도를 통해, CLIP 스타일 및 MLLM 기반 임베딩 모델을 텍스트만으로 미세조정함으로써 결합 능력을 향상시킨다. 이는 텍스트가 속성-객체 관계를 명시적으로 표현하고, 하드 네거티브를 정밀하게 제어할 수 있기 때문이다.

기술적 접근법

**SABER**: 최대 10개 객체를 포함한, 4가지 모달리티 쌍 (이미지-이미지, 이미지-텍스트, 텍스트-이미지, 텍스트-텍스트)에서 속성-객체 결합을 평가하는 컨트롤드 벤치마크.
**모델 평가**: CLIP 스타일 이중 인코더와 Qwen3-VL-Embedding 같은 MLLM 기반 임베딩 모델.
**미세조정 데이터**: 합성 속성-객체 결합 텍스트로만 학습.
**학습 전략**: 텍스트 기반 미세조정을 통해 결합 능력 향상. 이미지 없이 텍스트만으로 학습.

주요 결과

SABER에서 CLIP 스타일 및 MLLM 기반 임베딩 모델 모두에서 결합 실패가 발생.
텍스트 기반 미세조정 모델은 SABER에서 SOTA 성능 달성.
9개의 속성-결합 벤치마크에서 기존 모델을 상회.
부정 및 인스턴스 검색 벤치마크에서도 개선 (정확도 +Z%).
교차-모달리티 및 이미지-이미지 검색 성능 향상.

의의 및 한계

SABER는 속성-객체 결합 능력을 정확히 평가할 수 있는 첫 번째 벤치마크로, VLM의 구성적 정밀도를 평가하는 새로운 차원을 제시한다. 텍스트 기반 미세조정은 이미지 없이도 결합 능력을 향상시키며, 교차-모달리티 성능을 유지하면서도 부가적인 검색 성능을 개선한다. 그러나 SABER는 합성 데이터를 기반으로 하므로 실제 이미지와의 차이가 있을 수 있다. 또한, 객체의 크기, 레이아웃, 방향 등 의도하지 않은 변이가 포함될 수 있는 한계가 있다.

실용적 활용

본 연구는 대규모 이미지-텍스트 검색 시스템, 콘텐츠 추천, 객체 인식 및 검색 등에서 속성-객체 관계를 정확히 반영하는 임베딩 모델 개발에 활용 가능하다. 특히, 이미지 생성이 어려운 분야에서는 텍스트 기반 미세조정을 통해 효율적으로 모델을 개선할 수 있다.