FashionLens: Toward Versatile Fashion Image Retrieval via Task-Adaptive Learning

Fashion image retrieval is a cornerstone of modern e-commerce systems. A unified framework that supports diverse query formats and search intentions is highly desired in practice. However, existing approaches focus on narrow retrieval tasks and do not fully capture such diversity. Therefore, in this work, we aim to develop a unified framework capable of handling diverse realistic fashion retrieval scenarios, achieving truly versatile fashion image retrieval. To establish a data foundation, we first introduce U-FIRE, a comprehensive benchmark that consolidates fragmented fashion datasets into a unified collection, supplemented by two manually curated datasets for testing generalization. Building upon this, we propose FashionLens, a unified framework based on Multimodal Large Language Models. To handle divergent matching objectives, we design a Proposal-Guided Spherical Query Calibrator that dynamically shifts query representations into task-aligned metric spaces via adaptive spherical linear interpolation. Additionally, to mitigate the optimization imbalance caused by varying task complexities and data scales, we develop a Gradient-Guided Adaptive Sampling strategy that automatically re-weights tasks based on realtime learning difficulty and the data scale prior. Experiments on U-FIRE show that FashionLens achieves state-of-the-art performance across diverse retrieval scenarios and generalizes robustly to unseen tasks. The data and code are publicly released at https://github.com/haokunwen/FashionLens.

📋 한 줄 요약

**[Fashion Retrieval / Unified MLLM Framework]** FashionLens가 U-FIRE 통합 벤치마크와 Proposal-Guided Spherical Query Calibrator·Gradient-Guided Adaptive Sampling으로 다양한 패션 검색 시나리오 통합 처리, 미관측 task로 강건 일반화.

🎯 핵심 기여도

패션 이미지 검색이 현대 전자상거래의 핵심이지만 기존 방법이 narrow retrieval task에 집중해 다양한 query format·search intention을 통합 처리 못함을 진단.
U-FIRE 도입 — 단편화된 패션 데이터셋을 통합 컬렉션으로 consolidate한 종합 벤치마크, 일반화 평가용 수동 큐레이션 2 데이터셋 보완.
FashionLens 제안 — MLLM 기반 unified framework로 truly versatile fashion image retrieval 실현.
Proposal-Guided Spherical Query Calibrator로 divergent matching objective 처리 — adaptive spherical linear interpolation으로 query representation을 task-aligned metric space로 동적 shift, Gradient-Guided Adaptive Sampling으로 real-time learning difficulty·data scale prior 기반 task 자동 re-weighting.

💡 핵심 아이디어

패션 검색은 task별 narrow model 대신 MLLM 기반 unified framework가 필요하며, query를 task-aligned metric space로 spherical 보간하여 동적으로 shift하고 task 복잡도·데이터 규모에 따라 gradient 기반 자동 재가중하면 다양한 검색 시나리오를 단일 모델로 처리 가능하다.

🔬 기술적 접근법

**방법론**: FashionLens — MLLM unified framework + U-FIRE 벤치마크.
**핵심 기법**: (1) U-FIRE로 단편 데이터셋 통합·일반화 테스트셋 추가, (2) MLLM backbone에 fashion retrieval task 통합, (3) Proposal-Guided Spherical Query Calibrator — adaptive spherical linear interpolation으로 query를 task별 metric space로 동적 매핑, (4) Gradient-Guided Adaptive Sampling으로 task complexity·data scale에 따라 자동 re-weighting, (5) U-FIRE에서 SOTA·미관측 task 일반화 검증.

📊 주요 결과

U-FIRE에서 다양 검색 시나리오에 걸쳐 SOTA 달성.
미관측(unseen) task에 robust 일반화 능력 입증.
데이터·코드 공개: github.com/haokunwen/FashionLens.

💭 의의 및 한계

**의의**: 단편 패션 검색 연구의 통합 testbed·MLLM-driven versatile framework 제시, spherical interpolation의 query 적응이 일반화 가능한 패턴, gradient-guided sampling으로 multi-task 최적화 imbalance 정량 완화. **한계**: MLLM backbone 추론 cost, U-FIRE 외 산업 데이터에의 일반화는 추가 검증, fashion-specific 가정의 다른 도메인 이식성 미평가.

🚀 실용적 활용

전자상거래 fashion search·visual recommender.
Multi-task retrieval 통합 framework 설계.
MLLM 기반 도메인 특화 검색 시스템.