A Glance Is All You Need: Single-Pass Fine-Grained Image Captioning with SimLoss
Suryaansh Jain, Rahasya Barkur, Vishal G, Ryan Rossi, Franck Dernoncourt, Jack Wang, Koustava Goswami, Nedim Lipka, Puneet Mathur, Samyadeep Basu, Seunghyun Yoon
arXiv:2609.00591 · 2026-09-06 공개 · arXiv · PDF
vision-language retrieval-augmented image-captioning fine-grained-captioning info-nceloss perception-aware reward-optimized simloss
Abstract
An image may be worth a thousand words, but most captioning models describe it in only a few. Modern vision-language models produce fluent high-level captions, yet routinely miss the attributes, counts, textures, materials, and spatial relations that make an image visually specific. Recent multi-stage systems recover some of these details through generation, decomposition, verification, and rewriting, but they do so at the expense of substantially higher inference latency.
We propose SimLoss, a reference-free embedding-space objective for single-pass fine-grained image captioning. SimLoss trains a vision-language model to align its projected hidden-state representation with a frozen image embedding through an InfoNCE contrastive loss, supplying a dense visual supervision signal before any text is decoded, and requiring neither human-written fine-grained captions nor pseudo-captions from a multi-stage pipeline. We instantiate it as SimLoss FFT, which backpropagates through a locally available embedding model, and SimLoss GRPO, which treats that model as a black-box reward.
Compared with single-pass, multi-stage verification, reward-optimized, and perception-aware baselines, the fully differentiable fine-tuning variant, SimLoss FFT, achieves the highest precision while nearly matching the F1 score of the multi-stage method, all while retaining single-pass inference and running roughly 20 times faster than the multi-stage pipeline.
The reward-based variant SimLoss GRPO attains the strongest recall. Together, these results show that embedding-space supervision can recover the quality of multi-stage verification at the latency of a single-pass captioner.
한국어 요약
한 줄 요약
SimLoss는 단일 패스로 세부 정보를 포함한 이미지 캡션을 생성하는 새로운 임베딩 공간 기반의 학습 방법이다.
핵심 기여도
- **SimLoss**: 캡션 생성 전에 이미지 임베딩과 히든 상태를 정렬하는 reference-free 임베딩 공간 학습 목적 함수를 제안.
- **SimLoss FFT**: 로컬 임베딩 모델을 사용한 fully differentiable 학습 방식으로, CapMAS 대비 약 20× 빠른 속도로 높은 정밀도(Precision) 달성.
- **SimLoss GRPO**: 임베딩 모델을 black-box reward로 사용한 버전으로, 가장 높은 재현률(Recall)을 보임.
- **IIW-400 데이터셋**에서 단일 패스 방식으로 CapMAS의 F1 점수에 근접하면서도 높은 정밀도를 유지.
핵심 아이디어
기존 캡션 모델은 이미지의 세부 특성(재질, 수량, 공간 관계 등)을 누락하는 경향이 있다. SimLoss는 이러한 정보를 임베딩 공간에서 학습하여 캡션 생성 전에 시각 정보를 보존하도록 유도한다. 핵심 아이디어는 **캡션 생성 과정에서 이미지의 구별 가능한 특성을 유지**하는 것이다.
SimLoss는 이미지 임베딩과 VLM의 히든 상태를 정렬하는 **InfoNCE 대비 학습**(contrastive loss)을 사용한다. 이는 캡션 생성 전에 이미지의 구체적 정보를 유지하도록 유도하며, **인간 작성 또는 투시 캡션 없이도 학습 가능**하다는 점에서 혁신적이다.
기술적 접근법
- **SimLoss**: 임베딩 공간에서 VLM의 히든 상태와 고정된 이미지 임베딩을 정렬하는 reference-free 학습 목적 함수.
- **SimLoss FFT**: 로컬 임베딩 모델을 사용하여 **fully differentiable 학습**을 수행.
- **SimLoss GRPO**: 임베딩 모델을 black-box reward로 사용하여 **강화 학습 방식**으로 학습.
- **IIW-400 데이터셋** 사용.
- **InfoNCE 대비 학습**(contrastive loss)을 통해 임베딩 공간에서 시각 정보를 정밀하게 유지.
- **CapMAS**와 비교 시, SimLoss FFT는 **20× 빠른 추론 속도**를 유지하면서 높은 정밀도를 달성.
주요 결과
- **IIW-400 데이터셋**에서 SimLoss FFT는 CapMAS 대비 **약 20× 빠른 추론 속도**를 유지하면서 **가장 높은 정밀도(Precision)**를 달성.
- SimLoss FFT는 CapMAS의 F1 점수와 거의 동일한 수준을 유지.
- SimLoss GRPO는 **가장 높은 재현률(Recall)**을 보임.
- **정밀도-재현률(F1) 점수**의 차이는 정밀도 차이에서 비롯됨.
의의 및 한계
SimLoss는 **인간 작성 캡션 없이도** 세부 정보를 포함한 캡션을 생성할 수 있다는 점에서 학술적·실용적 가치가 있다. 특히, **단일 패스 방식으로도 CapMAS와 유사한 성능**을 달성하면서 **추론 속도를 20배 이상 개선**한 점이 주목할 만하다.
하지만, CapMAS와의 F1 점수 차이는 **명시된 정밀도-재현률 균형 조정**(precision-recall balancing)이 여전히 필요하다는 점을 시사한다. SimLoss는 임베딩 모델의 편향과 시각 세부 정보의 정의에 따라 성능이 달라질 수 있으므로, **임베딩 모델의 선택과 교육 데이터의 질**이 중요하다는 한계가 있다.
실용적 활용
SimLoss는 **보조 기술**(assistive technology), **로봇 시각**(embodied robotics), **의료 이미지 해석**(clinical image interpretation) 등에서 즉각적이고 정확한 캡션 생성이 필요한 상황에 적용 가능하다. 특히, **대규모 이미지 처리**나 **실시간 응용**에서 단일 패스 방식의 빠른 추론 속도가 유리하다.