SCOUT: Sim-to-Real Text-Based Person Retrieval by Embedding-Space Prediction over Frozen Video Features

Text-based person retrieval under a sim-to-real gap (synthetic training data, a real-image gallery) is usually tackled with costly fine-tuned cross-encoders. We ask whether a frozen-encoder system can compete. We present SCOUT, which casts cross-modal retrieval as prediction in embedding space. A trainable predictor maps the patch tokens of a frozen video encoder into the embedding space of a frozen text encoder under a bidirectional InfoNCE objective, and no encoder is fine-tuned in the base model. The video encoder is V-JEPA, the text encoder is EmbeddingGemma, and the predictor is initialized from a Qwen3.5-0.8B decoder. We make three findings. First, the best frozen text encoder is simply the one whose geometry best matches the video features. A training-free alignment score ranks three candidate text encoders in the same order as their retrieval accuracy on our held-out split (Spearman $\rho = 1.0$); a fourth, LLM-based encoder shows the rule is metric-dependent, holding for a neighborhood-overlap score ($\rho = 0.8$) but not for a linear probe ($\rho = -0.2$). Second, two precision-targeted levers, parameter-efficient ExPLoRA adaptation of the video encoder and a training-free attribute-decomposed reranker built on a vision-language model, improve the top-rank precision that otherwise limits the frozen system, adding 2.2 points of leaderboard R@1. Third, a local-versus-public calibration study explains which interventions transfer to the real domain. On AI City Challenge 2026 Track 4 the full retrieve-fuse-rerank system reaches 84.25 mAP@10 on the final leaderboard, while a single frozen model submitted alone reaches 60.63. Our trained components cost about 95 GPU-hours. CMP, the dataset authors' fine-tuned cross-encoder that trains for sixteen GPU-days, is one fusion member of the full system, not an alternative. Code and annotations: https://github.com/abtraore/SCOUT-ECCV

한 줄 요약

SCOUT은 고정된 인코더를 사용해 시뮬레이션-실제 갭에서 텍스트 기반 인물 검색을 수행하며, AI City Challenge 2026에서 84.25 mAP@10 성능을 달성한다.

핵심 기여도

SCOUT은 고정된 V-JEPA 비디오 인코더와 EmbeddingGemma 텍스트 인코더를 사용하며, Qwen3.5-0.8B 디코더 기반 예측기만 학습함.
텍스트 인코더 선택에 있어, 훈련 없이 계산된 neighborhood-overlap 점수가 retrieval 정확도와 Spearman $\rho = 1.0$의 상관관계를 보임.
ExPLoRA와 attribute-decomposed reranker를 통해 R@1 정확도가 2.2 포인트 향상됨.
전체 시스템은 95 GPU-시간만 소요되며, 기존의 16 GPU-일 소요 CMP 모델을 포함한 하나의 구성 요소로 사용됨.

핵심 아이디어

SCOUT은 기존의 cross-encoder 기반 텍스트-이미지 검색 방식을 대체하는 새로운 접근법으로, 고정된 인코더를 사용하고 embedding 공간 내 예측을 학습한다. 이는 V-JEPA와 EmbeddingGemma가 각각 고정된 비디오와 텍스트 인코더로 사용되며, Qwen3.5-0.8B 디코더를 초기화한 예측기만 학습된다. 핵심 아이디어는 고정된 인코더의 geometry가 성능에 결정적인 영향을 미친다는 점이다. 예측기는 InfoNCE 손실 기반으로 비디오 인코더의 patch token을 텍스트 인코더 공간으로 매핑하며, 이는 cross-encoder가 아닌 bi-encoder 구조를 채택한다. 이는 gallery 이미지의 embedding을 한 번 계산해 재사용할 수 있어 효율적이다.

기술적 접근법

**Frozen Video Encoder**: V-JEPA 2.1 ViT-L/16 사용, 학습되지 않음.
**Frozen Text Encoder**: EmbeddingGemma 사용, 텍스트를 단위 벡터로 매핑.
**Predictor**: Qwen3.5-0.8B 디코더 초기화, 24층 트랜스포머, 64개의 학습 가능한 prompt token 포함.
**Loss Function**: Bidirectional InfoNCE 손실 사용.
**Ablation Study**: 128 크기의 per-rank batch가 9.4 포인트 성능 향상, 24층 predictor가 1.9 포인트 향상.
**Reranking**: Vision-language model 기반 attribute-decomposed reranker 사용.

주요 결과

AI City Challenge 2026 Track 4에서 SCOUT 전체 시스템은 84.25 mAP@10 성능 달성.
단일 고정 모델만 제출 시 60.63 mAP@10.
ExPLoRA와 reranker를 추가한 결과, R@1 정확도가 2.2 포인트 향상됨.
훈련 없이 계산된 neighborhood-overlap 점수가 3개 텍스트 인코더의 정확도 순위와 완전히 일치 (Spearman $\rho = 1.0$).

의의 및 한계

SCOUT은 고정 인코더 기반 시스템이 fine-tuned cross-encoder와 경쟁할 수 있음을 보여준다. 특히, 훈련 없이 텍스트 인코더의 geometry를 평가하는 방법이 성능 예측에 효과적임을 입증한다. 또한, 95 GPU-시간이라는 낮은 계산 비용으로 기존 16 GPU-일 소요 모델을 포함한 시스템을 구축할 수 있어 실용적 가치가 높다. 그러나, 상위 팀과의 차이는 여전히 R@1 정확도에 있으며, 이는 reranking 품질 문제로, 이에 대한 방법은 공개되지 않았다. 또한, alignment 기준과 calibration 연구는 하나의 벤치마크에서만 검증되었으며, 일반화 가능성은 제한적이다.

실용적 활용

SCOUT은 시뮬레이션 데이터로 훈련된 모델이 실제 이미지 갤러리에서 검색을 수행해야 하는 보안, 감시, 인식 시스템 등에 적용 가능하다. 특히, 고정 인코더를 사용해 훈련 비용을 절감하면서도 높은 성능을 유지할 수 있어, 자원 제약이 있는 환경에서 유용하다.