Xiaomi-Lens-0 Technical Report

Multimodal large language models (MLLMs) answer questions about whole images well, yet they still struggle with fine-grained region understanding. A key reason is that text-only supervision never specifies which regions support an answer. To close this gap, we present Xiaomi-Lens-0, a 4B MLLM built on Qwen3.5 that predicts masks from its own visual representations. Specifically, a lightweight decoder combines vision-encoder patch features with visual latents, the language model's mask-token states, so mask supervision reaches the shared backbone without an additional segmentation encoder. Because each latent decodes to a mask, the model can interleave reasoning with region-specific latents and thus think with visual latents, while grounded reasoning traces supervise the regions it visits during chain-of-thought. As a result, across all eight RefCOCO, RefCOCO+, and RefCOCOg splits, Xiaomi-Lens-0 gains 5.6 points on average over Qwen3.5 in referring comprehension and achieves the highest segmentation cIoU among compared models. Moreover, it surpasses Qwen3.5 across all perception benchmarks. Homepage: https://seerray-lab.github.io/Xiaomi-Lens-0{this https URL}

한 줄 요약

Xiaomi-Lens-0는 Qwen3.5 기반 4B MLLM으로, 자체 시각 표현에서 마스크를 예측하여 RefCOCO 분할에서 cIoU 최고 성능을 달성하고, 5.6 포인트 평균 개선을 보인다.

핵심 기여도

**공유된 시각 표현에서 마스크 예측**: 추가적인 분할 인코더 없이 Qwen3.5의 패치 그리드와 시각 레이턴트를 결합한 가벼운 디코더를 사용.
**Visual Latents와 Reasoning 결합**: 마스크 디코더를 통해 텍스트 추론과 시각 레이턴트를 번갈아 결합하여 "thinking with visual latents" 구현.
**RefCOCO 분할에서 최고 cIoU**: 모든 8개 스플릿에서 기존 모델 대비 최고 성능 달성.
**REC 평균 5.6 포인트 개선**: Qwen3.5 대비 RefCOCO, RefCOCO+, RefCOCOg에서 평균 5.6 포인트 상승.

핵심 아이디어

기존 MLLM은 텍스트만으로 학습되어 이미지 내 구체적 영역을 명시하지 못해 미세한 지역 이해에 한계가 있었다. Xiaomi-Lens-0은 이 문제를 해결하기 위해 **공유된 시각 인코더의 패치 그리드**와 **language model의 mask-token state**(visual latent)를 결합한 **가벼운 마스크 디코더**를 도입하여, 추가적인 분할 인코더 없이도 마스크 예측이 가능하도록 했다. 이는 마스크 손실이 **공유된 시각 표현**에 직접 전달되어, 시각-언어 표현의 일관성을 강화한다.

또한, 추론 과정에서 생성된 **visual latent**를 마스크로 디코딩함으로써, 추론의 중간 단계에서 참조되는 이미지 지역을 명시적으로 감지할 수 있게 했다. 이를 통해 **grounded reasoning traces**를 생성하여, CoT(Chain-of-Thought) 내에서 참조된 지역의 공간적 범위를 명확히 할 수 있다. 이는 단순한 마스크 예측을 넘어, **미세한 시각 추론**과 **지역 기반 추론**을 가능하게 한다는 점에서 혁신적이다.

기술적 접근법

**모델 구조**: Qwen3.5 기반 4B MLLM.
**마스크 디코더**: 가벼운 디코더가 **vision-encoder의 patch feature**와 **language model의 mask-token state**(visual latent)를 결합.
**공유된 인코더 사용**: 추가적인 분할 인코더 없이, **공유된 vision encoder의 patch-level feature grid**를 사용.
**Joint Training**: 언어 모델과 마스크 디코더를 동시에 학습하여, 마스크 손실이 **공유된 시각 표현**에 전달.
**Thinking with Visual Latents**: 마스크 디코더가 **visual latent decoder**로 작용하여, 추론 과정에서 지역별 레이턴트를 생성하고 이를 마스크로 디코딩.
**Grounded Reasoning Traces**: CoT 중간 단계에서 참조된 지역과 마스크를 짝지어, **텍스트 응답과 디코딩된 마스크를 동시에 감독**.

주요 결과

**RefCOCO REC 평균 5.6 포인트 개선**: Qwen3.5 대비 RefCOCO, RefCOCO+, RefCOCOg 8개 스플릿에서 평균 5.6 포인트 상승.
**RES cIoU 최고 성능**: 모든 8개 스플릿에서 기존 모델 대비 최고 cIoU 달성.
**COCO 2017 Multi-Instance Grounding에서 최고 F1@mIoU**: IoU 0.50~0.95 평균 F1에서 최고 성능.
**LensBench에서 aerial, driving, panoramic 영역 최고 cIoU**: 단일 및 다중 타겟, 명시적/암시적 지시어 모두에서 상대적으로 높은 성능.
**BBox-only 실험에서 마스크 감독의 효과 확인**: 마스크 감독이 REC 및 감지 성능에 추가 개선을 제공.

의의 및 한계

Xiaomi-Lens-0은 **공유된 시각 표현에서 직접 마스크를 예측**함으로써, 기존 MLLM에서 흔히 발생하는 지역 이해 부족 문제를 해결한다. 특히, **추론 과정에서 지역별 레이턴트를 생성하고 이를 마스크로 디코딩**하는 "thinking with visual latents"는 시각-언어 모델의 추론 능력을 미세한 지역 기반으로 확장하는 데 기여한다.

그러나, **암시적 지시어**(implicit instructions)에 대한 처리는 여전히 어려움을 보이며, 특히 **광각 이미지**(panoramic)에서 다중 타겟 선택 시 성능 저하가 발생한다. 이는 지역 기반 추론의 복잡성과, 암시적 지시어 해석의 어려움을 반영하는 한계점이다. 또한, **추가적인 공간 인코더 없이**도 높은 성능을 달성했지만, 일부 복잡한 지역 분할에서는 여전히 공간 인코더가 유리할 수 있다.

실용적 활용

Xiaomi-Lens-0은 **로봇 시스템**, **이미지 기반 QA 시스템**, **멀티모달 에이전트** 등에서 지역 기반 추론과 정밀 분할이 필요한 상황에 적용 가능하다. 특히, **실내/외 환경**, **드라이빙**, **항공 이미지** 등 다양한 시각 도메인에서의 지역 이해 능력을 활용할 수 있다. 또한, **고해상도 이미지**(HR-Bench)나 **복잡한 공간 관계**(spatial reasoning)를 다루는 시스템에서도 유용하게 사용될 수 있다.