RecGPT-V3 Technical Report

Large language models (LLMs) are transforming recommender systems from matching co-occurrence patterns in historical behavior toward reasoning about the intent that drives it. RecGPT-V1 pioneered this paradigm on Taobao by centering user understanding, and RecGPT-V2 scaled it via coordinated multi-agent reasoning; both are deployed in production with consistent gains in user experience and commercial outcomes. However, operating RecGPT at scale reveals three challenges: (1) stateless behavior modeling, where each request reprocesses full user history, wasting computation and discarding prior analysis; (2) a tag-to-item information bottleneck, where natural-language tags form a lossy channel between user understanding and item grounding; and (3) inefficient explicit reasoning, whose lengthy chain-of-thought incurs untenable latency and compute overhead. We present RecGPT-V3, a stateful, hybrid-modal recommender that reasons over natural language for open-world knowledge and Semantic IDs (SIDs) for concrete item grounding. A Memory Hub maintains structured, continually evolving user memory that distills long-horizon behavior into condensed units, cutting user-modeling computation by 55.8%. A Hybrid-modal Foundation Model allows the LLM jointly reason over text tags and SIDs, opening a high-bandwidth channel into the item space. Latent Intent Reasoning internalizes verbose rationales into compact learnable latent tokens that remain decodable into readable explanations, lowering output token cost by 200x. Deployed in Taobao's "Guess What You Like" feed, RecGPT-V3 achieves consistent gains in large-scale online A/B tests: IPV +1.28%, CTR +1.00%, TC +1.97%, GMV +3.97%, while cutting end-to-end serving resource consumption by 52.4%.

한 줄 요약

RecGPT-V3는 Taobao 추천 시스템에서 사용자 이해와 추천 효율성을 동시에 향상시키는 LLM 기반 추천 모델로, Memory Hub, Hybrid-modal Foundation Model, Latent Intent Reasoning를 통해 성능과 자원 소비를 개선한다.

핵심 기여도

**Memory Hub** 도입으로 사용자 모델링 계산량을 55.8% 절감.
**Hybrid-modal Foundation Model**을 통해 자연어 태그와 Semantic ID(SID)를 결합, 추천 정확도 향상.
**Latent Intent Reasoning**으로 추론 토큰 비용을 200× 절감.
Taobao "Guess What You Like" 피드에서 GMV +3.97%, CTR +1.00% 등 실질적인 성과 달성.

핵심 아이디어

RecGPT-V3는 기존 추천 시스템의 세 가지 주요 한계를 해결하기 위해 설계되었다. 첫째, RecGPT-V1/V2는 사용자 행동을 매 요청마다 재처리하는 **stateless behavior modeling** 방식으로, 계산 효율성이 낮고 이전 분석을 활용하지 못했다. RecGPT-V3는 **Memory Hub**를 도입해 사용자 행동을 구조화된 형태로 저장하고 점진적으로 업데이트하여, 사용자 모델링 계산량을 55.8% 줄였다.

둘째, RecGPT-V1/V2는 자연어 태그를 생성해 추천 항목을 결정하는 방식이었지만, 이는 **tag-to-item information bottleneck**을 초래했다. RecGPT-V3는 **Hybrid-modal Foundation Model**을 통해 자연어와 SID를 결합, 추천 항목과의 정확한 매칭을 가능하게 했다.

셋째, RecGPT-V1/V2는 긴 **chain-of-thought** 추론 과정을 사용해 추론 토큰 비용이 높았다. RecGPT-V3는 **Latent Intent Reasoning**을 도입해 긴 추론을 **learnable latent tokens**으로 압축, 토큰 비용을 200× 줄이며 추론 효율성을 높였다.

기술적 접근법

**Memory Hub**: 사용자 행동을 **condensed, traceable, evolvable**한 구조로 저장. 사용자 토큰 수를 94.5% 압축.
**Hybrid-modal Foundation Model**: 자연어와 **Semantic IDs (SIDs)**를 결합해 추천 항목과의 정확한 매칭 가능.
**Latent Intent Reasoning**: **<CoT>** 토큰을 도입해 긴 추론을 압축, 토큰 비용 200× 절감.
**하이퍼파라미터**: 추론 토큰 수 약 3,000개 (RecGPT-V1/V2 기준).

주요 결과

**Taobao "Guess What You Like" 피드**에서 RecGPT-V3는 RecGPT-V2 대비 다음과 같은 성과를 달성:
**IPV +1.28%**, **CTR +1.00%**, **TC +1.97%**, **GMV +3.97%**
**엔드-투-엔드 서빙 자원 소비 감소 52.4%**
**Item Scenario**에서는 GMV +7.51%, **Feed Scenario**에서는 DAU +0.56% 증가.

의의 및 한계

RecGPT-V3는 LLM 기반 추천 시스템의 **정확성과 효율성**을 동시에 향상시키는 성과를 보여주며, 대규모 산업 시스템에서 LLM을 활용할 수 있음을 입증한다. 특히, **Memory Hub**와 **Latent Intent Reasoning**은 추천 모델의 계산 효율성과 사용자 이해도를 높이는 데 기여한다.

하지만, **Hybrid-modal Foundation Model**은 SID와 자연어 간의 정확한 정렬이 필요하며, SID 생성 과정에서 협업 신호를 반영하기 때문에 **SID 품질에 따라 추천 정확도가 변동**할 수 있다. 또한, **Latent Intent Reasoning**은 토큰 압축을 통해 추론 효율성을 높였지만, **추론 과정의 해석 가능성**이 부분적으로 감소할 수 있다.

실용적 활용

RecGPT-V3는 대규모 전자상거래 플랫폼에서 사용자 행동을 정확히 이해하고, 추천 효율성을 높이는 데 적합하다. 특히, **Taobao와 유사한 추천 기반 콘텐츠 피드**나 **개인 맞춤형 상품 추천 시스템**에 적용 가능하며, **고객 참여도와 매출 성과를 동시에 향상**시키는 데 활용할 수 있다.