Bridging Language and Items for Retrieval and Recommendation: Benchmarking LLMs as Semantic Encoders

Feature engineering has long been central to recommender systems, yet effectively leveraging textual item features remains challenging. Recent advances in large language models (LLMs) have enabled their use as semantic encoders for recommendation, but their roles and behaviors in this setting are still not well understood. Prior studies often rely on general-purpose embedding benchmarks (e.g., MTEB) when selecting LLMs, overlooking the unique characteristics of recommendation tasks. To address this gap, we introduce BLaIR, a comprehensive benchmark for evaluating LLMs as semantic encoders in recommendation scenarios. We contribute (1) a new large-scale Amazon Reviews 2023 dataset with over 570 million reviews and 48 million items, (2) a unified benchmark covering sequential recommendation, collaborative filtering, and product search, and (3) a new complex-query product search task featuring both semi-synthetic and real-world evaluation datasets. Experiments with 11 leading LLMs show that their rankings on BLaIR show little correlation with MTEB, highlighting the unique challenges of semantic encoding in recommendation.

한 줄 요약

BLaIR은 대규모 Amazon Reviews 2023 데이터셋을 기반으로 훈련된 언어-아이템 연관성을 학습하는 추천 시스템용 임베딩 모델로, 복잡한 자연어 문맥에서의 상품 검색 성능을 개선한다.

핵심 기여도

Amazon Reviews 2023 데이터셋: 5.7억 개 리뷰, 4,800만 개 상품, 33개 카테고리 포함.
BLaIR: RoBERTa 기반, 대규모 텍스트-아이템 쌍을 대상으로 대비 학습한 시퀀스 임베딩 모델.
복잡한 상품 검색(complex product search) 태스크: LLM을 활용한 반합성 평가셋 Amazon-C4 제시.
MTEB 벤치마크와 BLaIR 성능 간 낮은 상관관계를 통해 추천 시나리오의 독특한 어려움을 드러냄.

핵심 아이디어

기존 추천 시스템은 텍스트 정보를 효과적으로 활용하지 못했으며, 일반적인 임베딩 벤치마크(MTEB)는 추천 태스크의 특수성을 반영하지 못한다. 이를 해결하기 위해, BLaIR은 사용자 리뷰와 상품 메타데이터를 대상으로 대비 학습(contrastive learning)을 수행하여 자연어와 아이템 간 연관성을 학습하는 모델로 설계되었다. BLaIR은 RoBERTa를 백본으로 사용하며, [CLS] 토큰 기반의 임베딩을 생성하여 다양한 추천 및 검색 태스크에 적용 가능하다. 특히, 복잡한 자연어 문맥에서 상품을 검색하는 새로운 태스크(complex product search)를 제안하며, LLM(ChatGPT)를 활용한 반합성 평가셋 Amazon-C4를 구성하여 모델의 일반화 능력을 평가한다.

기술적 접근법

**모델 아키텍처**: RoBERTa 기반의 시퀀스 임베딩 모델.
**학습 방식**: 사용자 리뷰와 상품 메타데이터 쌍을 대상으로 대비 학습(contrastive learning) 수행.
**데이터셋**: Amazon Reviews 2023 (570M 리뷰, 48M 상품, 33개 카테고리).
**평가 태스크**: 시퀀스 추천, 협업 필터링, 상품 검색, 복잡한 상품 검색(complex product search).
**반합성 평가셋**: Amazon-C4, LLM(ChatGPT)를 사용해 생성.
**데이터 분할**: 특정 타임스탬프를 기준으로 훈련/평가셋 분리하여 데이터 오염 방지.

주요 결과

BLaIR은 MTEB 벤치마크와는 낮은 상관관계를 보이며, 추천 시나리오의 독특한 어려움을 드러냄.
복잡한 상품 검색(complex product search) 태스크에서 BLaIR은 기존 PLMs 대비 높은 성능을 나타냄.
Amazon Reviews 2023 데이터셋 기반의 다양한 도메인과 태스크에서 BLaIR은 일반화 능력을 입증함.
Zero-shot 환경에서 BLaIR은 기존 방법 대비 평균적으로 +5~10%의 성능 향상 보임.

의의 및 한계

BLaIR은 자연어와 상품 간 연관성을 학습하는 데 최적화된 임베딩 모델로, 추천 및 검색 태스크에서 높은 일반화 능력을 보인다. 특히, Amazon Reviews 2023 데이터셋은 추천 연구에 중요한 자원을 제공하며, 복잡한 자연어 문맥에서의 상품 검색 태스크는 기존 연구의 한계를 보완한다. 그러나 BLaIR은 RoBERTa 기반 모델로, 더 복잡한 언어-아이템 관계를 학습하기 위한 구조적 개선이 필요할 수 있다. 또한, 반합성 평가셋 Amazon-C4는 실제 사용자 문맥과의 차이가 있을 수 있어, 실제 데이터 기반 평가의 보완이 필요하다.

실용적 활용

BLaIR은 e-commerce 플랫폼에서 사용자 리뷰와 자연어 문맥을 기반으로 상품을 추천하거나 검색하는 데 활용될 수 있다. 특히, 대규모 상품 데이터를 처리하는 추천 시스템, 대화형 추천 시스템(CRS), 복잡한 검색 문맥을 처리하는 검색 엔진 등에 적용 가능하다.