It Takes Two to Match: Co-Evolving Generative Retriever with Reinforcement Learning

Retrieval is the first stage of modern search and advertising systems, selecting a candidate set from a large item universe for downstream ranking and auction. Recent work increasingly leverages LLMs to improve retrieval through query expansion, data synthesis, and retrieval-feedback training. However, the generative component is typically used for query-side augmentation, while final matching is still delegated to a downstream retriever. We introduce CoGR, a retrieval framework that instead trains LLMs to directly construct retrieval representations on both query and item sides. Each generator produces a compact set of keywords, which are matched directly through an inverted index, preserving compatibility with existing keyword-based retrieval infrastructure. CoGR uses a two-stage training pipeline. Supervised fine-tuning first establishes an aligned keyword space, after which co-evolving reinforcement learning alternately optimizes the query- and item-side generators with GRPO against the opposite side's frozen index. Both sides optimize the same query-to-item retrieval F_1 objective: the query side receives retrieval F_1 directly, while the item side receives a counterfactual marginal reward measuring the change in query-side F_1 caused by its generated keywords. Across 10 representative sparse, dense, and generative baselines, CoGR achieves the best performance on both an internal APP Marketplace dataset and the public WANDS benchmark, improving F_1 over the strongest baseline by 10.9% and 36.1%, respectively. Further analysis shows stable co-evolution and increasingly aligned query--item keyword spaces over training.

한 줄 요약

CoGR은 쿼리와 아이템 양쪽에서 키워드를 생성해 매칭하는 생성형 검색 프레임워크로, F₁ 성능을 기존 베이스라인 대비 최대 36.1% 개선한다.

핵심 기여도

CoGR은 LLM을 사용해 쿼리와 아이템 양쪽에서 키워드를 생성하고, 이 키워드를 기반으로 인버티드 인덱스를 통해 직접 매칭하는 새로운 검색 프레임워크를 제안.
두 단계 학습 파이프라인(SFT + GRPO 기반 코-에볼루션 RL)을 통해 키워드 공간을 점진적으로 정렬.
APP Marketplace와 WANDS 벤치마크에서 기존 최고 성능 모델 대비 F₁이 각각 10.9%와 36.1% 개선됨.
생성된 키워드는 단어 수가 줄어들고, 3개 이상의 단어로 구성된 구가 12%에서 31%로 증가하며 점점 구체화됨.

핵심 아이디어

기존 생성형 검색 연구는 주로 쿼리 측면에서 키워드를 생성하고, 아이템 매칭은 별도의 검색기에서 수행하는 방식을 따랐다. CoGR은 이와 달리, LLM을 사용해 쿼리와 아이템 양쪽에서 키워드를 생성하고, 이 키워드를 기반으로 인버티드 인덱스를 통해 직접 매칭함으로써 기존 키워드 기반 인프라와의 호환성을 유지하면서도 생성형 매칭의 이점을 활용한다. 핵심 아이디어는 쿼리-아이템 키워드 공간을 동일한 F₁ 목표 하에 점진적으로 정렬하는 코-에볼루션 학습이다.

이를 위해 CoGR은 두 단계 학습 파이프라인을 사용한다. 첫 번째 단계는 SFT를 통해 쿼리 측 키워드를 기반으로 아이템 측 키워드를 생성해 초기 정렬을 수행한다. 이후 GRPO 기반의 코-에볼루션 RL을 사용해 쿼리-아이템 생성기를 번갈아 최적화한다. 쿼리 측 생성기는 생성된 키워드로 유도된 F₁을 직접 최적화하고, 아이템 측 생성기는 쿼리 측 F₁의 변화량을 측정하는 카운터팩트 마진 리워드를 기반으로 학습한다.

기술적 접근법

**모델 구조**: 쿼리와 아이템 각각에 대해 별도의 LLM 생성기를 사용. 생성된 키워드는 인버티드 인덱스를 통해 매칭됨.
**학습 파이프라인**:

1. **SFT (Supervised Fine-Tuning)**: 쿼리 측 키워드를 기반으로 아이템 측 키워드를 생성해 초기 정렬.
2. **GRPO 기반 코-에볼루션 RL**: 쿼리-아이템 생성기를 번갈아 최적화. 쿼리 측은 F₁을 직접 최적화, 아이템 측은 카운터팩트 마진 리워드를 사용.

**평가 지표**: F₁ (precision과 recall의 조화 평균)을 사용.
**하이퍼파라미터**: Qwen3-4B 모델을 기반으로 학습. SFT 후 RL 학습은 GRPO 알고리즘을 사용.

주요 결과

**APP Marketplace 데이터셋**: 기존 최고 성능 모델 대비 F₁ 10.9% 개선.
**WANDS 벤치마크**: 기존 최고 성능 모델 대비 F₁ 36.1% 개선.
키워드 분포 분석: 단일 단어 비율이 37%에서 13%로 감소, 3개 이상 단어로 구성된 구 비율은 12%에서 31%로 증가.
쿼리-아이템 키워드 공간이 학습 과정에서 점점 정렬됨. 쿼리 측 키워드 수는 증가, 아이템 측 키워드 수는 감소 후 수렴됨.

의의 및 한계

CoGR은 기존 생성형 검색 연구에서 일반적으로 한쪽(쿼리)만 생성하는 방식을 벗어나, 쿼리와 아이템 양쪽에서 키워드를 생성하고 이를 기반으로 매칭하는 새로운 접근법을 제시한다. 특히, GRPO 기반 코-에볼루션 RL을 통해 키워드 공간을 점진적으로 정렬하는 방식은 기존 연구에서 볼 수 없었던 기술적 혁신이다. 또한, 인버티드 인덱스 기반 매칭은 기존 키워드 기반 검색 인프라와의 호환성을 유지하면서도 생성형 매칭의 이점을 결합할 수 있다는 실용적 장점이 있다.

하지만 CoGR은 키워드 생성에만 집중하며, 생성된 키워드를 기반으로 BM25를 사용하는 단계는 별도로 구현되어 있어, 더 강력한 랭킹 모델과의 결합이 필요하다는 한계가 있다. 또한, 키워드 생성 과정에서 의미적 정보를 완전히 포착하지 못할 가능성도 존재한다.

실용적 활용

CoGR은 광고 시스템, 상품 검색, 추천 시스템 등에서 쿼리-아이템 매칭을 개선할 수 있는 실용적 가치를 가진다. 특히, 기존 키워드 기반 인프라와 호환되면서도 생성형 매칭의 이점을 활용할 수 있어, 기존 시스템에 부담 없이 도입 가능하다. 또한, 생성된 키워드가 점점 구체화되고 정렬됨에 따라, 의미적으로 정확한 매칭을 요구하는 상황에서 유용할 수 있다