Knowledge-Geometry Decoupling: Refreshable Pretrained Transfer for Streaming Recommendation

Industrial recommenders increasingly adopt the pretrain-then-transfer paradigm, yet behavioral distribution drift raises two questions: what to learn from behavior sequences, and how to transfer the learned knowledge while the pretrained model is continually refreshed. To resolve them, we propose Knowledge-Geometry Decoupling (KGD). For what to learn, conventional next-token prediction treats adjacency as dependency and may encode spurious transitions across unrelated sessions. We introduce Behavioral Multi-Token Prediction (BMTP) to retain only collaboratively or semantically related future items as supervision, yielding cleaner and more transferable behavioral knowledge. For how to transfer, pretrained knowledge and task-specific geometry impose conflicting optimization demands on shared parameters. To handle it, KGD assigns them to separate parameter sets: a refreshable encoder owns behavioral knowledge, while a task learner reads contextualized encoder states through read-only cross-attention and writes task-specific geometry through Anchored Calibration Residual (ACR) orthogonal to the pretrained embedding. The decoupled ownership enables continual knowledge refresh without task-gradient interference or invalidating downstream adaptation. KGD improves over strong pretrain-transfer baselines by 4-12% on eight public benchmarks and sustains its advantage over a 90-day production stream where baselines show no gains. KGD has been fully deployed in Shopee. In a live A/B test on Shopee Homepage Search, it increases GMV per user by 1.75% and advertising revenue by 1.53%, demonstrating its high practical value. We provide the core implementation of KGD at https://github.com/FuCongResearchSquad/KGD4REC.

한 줄 요약

KGD는 실시간 추천 시스템에서 지식과 기하학적 표현을 분리하여 4–12% 성능 향상과 1.75% GMV 증가를 달성한 프레임워크이다.

핵심 기여도

**Behavioral Multi-Token Prediction (BMTP)**: 협업 또는 의미적 관련성을 기반으로 미래 항목을 필터링하여 잡음 없는 지식 학습.
**Anchored Calibration Residual (ACR)**: 태스크 기하학을 임베딩 공간에 직교적으로 추가하여 표현 갱신과 태스크 적응을 독립적으로 수행.
**8개 공개 벤치마크에서 4–12% 성능 향상**.
**Shopee 실시간 A/B 테스트에서 GMV per user 1.75% 증가**.

핵심 아이디어

기존 추천 시스템의 pretrain-then-transfer 패러다임은 사용자 행동 시퀀스의 분포 변화에 취약하다. 특히, **next-token 예측**은 인접 항목 간 의존성을 가정하지만, 실제 사용자 행동은 **다양한 관심 세션의 연결체**로 구성되어 있어, 인접성은 의존성을 보장하지 않는다. 이로 인해 잡음이 학습된 표현이 생성된다. KGD는 이를 해결하기 위해 **BMTP**를 도입하여, **협업 또는 의미적 관련성을 기준으로 미래 항목을 필터링**하여 더 깨끗하고 전이 가능한 행동 지식을 학습한다.

또한, 기존 방법에서는 **pretrained 지식과 태스크 기하학이 공유 파라미터에 충돌**하여 성능 저하를 초래했다. KGD는 이를 해결하기 위해 **지식과 기하학을 분리된 파라미터 집합에 할당**: **refreshable encoder**는 행동 지식을 소유하고, **task learner**는 read-only cross-attention을 통해 encoder 상태를 읽고, ACR을 통해 태스크 기하학을 직교적으로 추가한다. 이는 표현 갱신과 태스크 적응이 서로 간섭하지 않도록 보장한다.

기술적 접근법

**BMTP**: 미래 항목을 예측할 때, **협업 그래프 필터**와 **의미적 유사도 필터**를 통해 관련성이 낮은 항목을 제거.
**ACR**: 태스크 기하학을 pretrained 임베딩 공간에 **직교한 저랭크 잔차**로 추가.
**Read-only cross-attention**: task learner는 encoder의 상태를 읽지만 수정하지 않음.
**Encoder 갱신**: daily refresh 가능하며, task residual은 유지됨.
**Hyperparameter**: ACR은 저랭크 공간에서 작동하며, 전체 파라미터 수는 공유된 backbone과 동일하나, 성능은 더 우수함.

주요 결과

**8개 공개 벤치마크에서 4–12% 성능 향상** (AUC 기준).
**Shopee 90일 실시간 스트림 테스트에서 baseline 대비 지속적 성능 유지**.
**Shopee Homepage Search A/B 테스트에서 GMV per user 1.75% 증가**, 광고 수익 1.53% 증가.
**BMTP 실험**: 협업 필터 제거 시 head 유저 AUC 0.5% 감소, 의미 필터 제거 시 tail 유저 AUC 1% 감소.

의의 및 한계

KGD는 실시간 추천 시스템에서 **지속적인 표현 갱신과 태스크 적응의 독립성**을 보장하며, **잡음 제거와 직교 기하학적 표현**을 통해 기존 pretrain-transfer 방식의 한계를 극복한다. 특히, **Shopee 실시간 환경에서 GMV와 수익 증가**를 통해 실용적 가치를 입증했다.

그러나, **BMTP의 필터링 기준**은 특정 도메인(예: Shopee)에 최적화되어 있을 수 있으며, **공개 데이터셋에서의 성능 향상이 실제 산업 환경으로의 일반화 가능성**은 추가 연구가 필요하다. 또한, **ACR의 저랭크 공간 활용**은 모델 복잡도를 낮추지만, 표현 능력 제한 가능성도 존재한다.

실용적 활용

KGD는 **실시간 추천 시스템**, 특히 **상품 추천, 검색, 광고 추천** 등에서 지속적인 데이터 스트림을 처리해야 하는 환경에 적합하다. **Shopee와 같은 대규모 이커머스 플랫폼**에서 GMV 및 수익 향상에 기여할 수 있으며, **사용자 행동 패턴이 빠르게 변화하는 산업**에서 유용하게 활용될 수 있다.