Zooming without Zooming v2: From Seeing Details to Connecting Evidence for Generalizable Multimodal Perception

Multimodal perception forms the foundation of multimodal intelligence. In particular, spatial perception and multimodal long-context understanding are two pivotal tasks that underpin embodied AI and multimodal agents. However, synthesizing targeted, high-quality training data for these tasks remains difficult and costly. Our key insight is that these tasks share an underlying capability, which we call connecting evidence: identifying relevant visual facts, binding them to the correct entities, recovering their relations, and composing them into an answer. Crucially, targeted training data are far easier to synthesize for this capability than for these tasks themselves. To strengthen this capability, we propose EvidenceConnect, an easy-to-implement data synthesis framework that uses zoomed views of related regions within a single image to generate questions requiring comparison, aggregation, or chaining of visual evidence. To ensure quality, a reference answer is retained only when independent VLMs agree on it, and region-ablation tests discard questions whose answer survives the removal of selected regions. We then train base VLMs on the resulting data with RLVR, obtaining Zooming without Zooming v2 (ZwZ2). Although the synthesized data are not tailored to any downstream benchmark, ZwZ2 improves fine-grained and spatial perception, with further gains on embodied spatial reasoning, multimodal long-context understanding, multimodal agent tasks, and general visual reasoning. These results establish EvidenceConnect as an effective framework for supervising evidence connection and suggest that strengthening this shared capability leads to more generalizable multimodal perception.

한 줄 요약

ZwZ2는 EvidenceConnect 데이터 합성 프레임워크와 RLVR를 통해 생성된 데이터로 학습하여 다중모달 인지 능력을 일반화적으로 향상시킨다.

핵심 기여도

**EvidenceConnect** 프레임워크를 제안하여, 단일 이미지 내 관련 영역의 확대 뷰를 기반으로 시각적 증거 연결 질문을 자동 생성.
**RLVR**를 사용한 학습으로, ZwZ2-4B/9B/27B 모델이 25개 벤치마크에서 기반 모델 대비 평균 5.38~5.00% 개선.
**Drop-one 검증**과 **Privileged View** 생성을 통해 데이터 품질을 보장하며, 7K 데이터에서 1.63%의 정확도 향상.
단일 이미지 학습에도 불구하고, **다중 이미지**, **장기 문맥**, **다중모달 에이전트** 태스크에서도 성능 향상.

핵심 아이디어

기존 다중모달 인지 태스크(공간 인지, 장기 문맥 이해)는 모두 "증거 연결(evidence connecting)"이라는 공통 원초적 능력에 기반한다는 통찰. 이 능력은 시각적 사실을 식별하고, 정확한 엔티티에 바인딩하여, 관계를 복원하고, 이를 결합해 답변을 구성하는 단계로 구성된다. 이 능력을 강화하면, 태스크별로 별도의 고가의 훈련 데이터를 생성할 필요 없이, 일반화된 인지 능력을 얻을 수 있다.

이를 실현하기 위해, **EvidenceConnect**는 단일 이미지 내 관련 영역을 선택하고, **Privileged View**를 사용해 세부 정보를 드러내며, 비교, 집계, 연결을 요구하는 질문을 생성한다. 생성된 질문은 **VLM 간 합의**와 **Region-ablation 테스트**를 통해 검증된다. 이는 모델이 특정 영역 없이도 정답을 유추하지 못하도록 보장하며, 데이터 품질을 높인다.

기술적 접근법

**EvidenceConnect**:
단일 이미지 내 관련 영역을 선택 → **Privileged View** 생성 → 질문 생성 (비교, 집계, 연결).
**Drop-one 검증**: 선택된 영역 하나씩 제거 후, 정답 유추 가능성 검증.
**VLM 간 합의**: 독립적인 VLM들이 동일한 정답을 제공하는 경우에만 질문 보존.
**RLVR 학습**:
합성된 데이터로 Qwen3.5-4B/9B/3.6-27B 학습.
**Supervised fine-tuning 없이**, 벤치마크 특화 질문 형식 없이 학습.
**데이터 규모**: 20.4K 합성 데이터 사용. 7K 데이터에서도 기반 모델 대비 5.49% 개선.

주요 결과

**ViewSpatial-Bench**: ZwZ2-4B 기반 모델 대비 +7.83% (37.43 → 45.26).
**MileBench**: +10.00% (60.08 → 70.08).
**전체 25개 벤치마크 평균**: ZwZ2-4B 기반 모델 대비 +5.38% (49.41 → 54.79).
**ZwZ2-9B**: +4.96% (51.63 → 56.59).
**ZwZ2-27B**: +4.99% (55.52 → 60.51).
**Drop-one 검증**: 7K 데이터에서 51.03 → 52.65 (+1.63%).
**Privileged View 사용**: 51.38 → 52.65 (+1.27%).

의의 및 한계

ZwZ2는 증거 연결 능력을 학습 목표로 삼아, 기존에 고가의 라벨링이 필요한 태스크(공간 인지, 장기 문맥 이해, 다중모달 에이전트)에서 일반화된 성능 향상을 달성했다는 점에서 학술적 가치가 크다. 특히, **단일 이미지 학습**으로도 다중 이미지 태스크에서 성능 향상을 보이는 것은, 데이터 생성의 효율성과 모델의 추론 능력 향상을 동시에 입증한다.

하지만, 일부 벤치마크(예: ERQA)에서는 성능이 저하되기도 했으며, **모든 태스크에서 균일한 개선**이 보장되지 않았다는 한계가 있다. 또한, 합성 데이터가 특정 벤치마크에 최적화되지 않았다는 점은 일반화 가능성의 강점이자, 일부 상황에서는 성능 저하 요인이 될 수 있다.

실용적 활용

ZwZ2는 **로봇 비전**, **가상 에이전트**, **다중모달 챗봇** 등에서 장기 문맥 이해와 공간 추론이 필요한 시스템에 적용 가능하다. 특히, 라벨링 비용이 높은 실제 환경에서 **자동 데이터 생성 프레임워크(EvidenceConnect)**를 활용해 모델을 학습시키는 데 유용하다.