UserArena: Benchmarking Interactive User Simulation for Long-Horizon Shopping Agents

Agentic recommendation pursues shopper goals through sequences of context-dependent decisions. Developing and evaluating such policies requires faithful recommendation world models that capture both the interactive shopping environment and users' behavioral responses over long interactions. Existing resources rarely provide long-horizon, fine-grained real-user trajectories or support trajectory-level evaluation and offline validation against production A/B results. We introduce UserArena, a real-world e-commerce interactive benchmark containing 64,729 session trajectories from 11,010 users, spanning 566,102 items and 13 action types. UserArena pairs these trajectories with an interactive environment and supports offline validation against outcomes from a controlled production A/B test, enabling five-level evaluation from output validity and local decisions to sequential behavior, personalization, and outcomes. To improve simulator fidelity over these long-horizon interactions, we further propose On-Policy Trajectory Distillation (OPTD), which uses trajectory-level intent to provide dense teacher targets on student-generated rollouts. Experiments show that OPTD achieves the strongest overall fidelity among the evaluated simulators under UserArena's evaluation protocol and most closely reproduces the production policy effect in offline simulation.

한 줄 요약

UserArena는 64,729개의 실제 사용자 세션을 포함한 장기적 쇼핑 시뮬레이션 벤치마크로, OPTD 알고리즘을 통해 시뮬레이터 신뢰도를 향상시킨다.

핵심 기여도

UserArena: 11,010명의 사용자, 566,102개의 아이템, 13개의 액션 타입을 포함한 실제 사용자 세션 데이터셋 제공.
OPTD(On-Policy Trajectory Distillation): 트래젝토리 레벨 인텐트를 활용한 밀집된 티처 타겟 학습으로 시뮬레이터 신뢰도 향상.
5단계 평가 프로토콜(L0~L4): 환경 준수, 로컬 행동, 순차 행동, 개인화, 결과 신뢰도를 종합적으로 평가.
OPTD는 UserArena 평가 프로토콜에서 가장 높은 전체 신뢰도를 달성하며, 실제 정책 효과를 가장 유사하게 재현.

핵심 아이디어

기존의 추천 시뮬레이터는 장기적 상호작용을 반영한 사용자 행동을 정확히 재현하지 못한다. UserArena는 실제 사용자 세션 데이터와 실행 가능한 쇼핑 환경을 결합하여, 시뮬레이터가 장기적 행동 패턴과 결과를 정확히 모방하는지 평가할 수 있는 기반을 제공한다. OPTD는 기존 시뮬레이터가 직면하는 문제인 행동 미조정, 희소 감독, 노출 편향을 해결하기 위해, 트래젝토리 레벨 인텐트를 기반으로 밀집된 티처 타겟을 생성하여 학습한다. 이는 학습된 모델이 실제 사용자의 장기적 행동을 더 일관되게 재현하도록 유도한다.

기술적 접근법

**UserArena 데이터셋**: 11,010명의 사용자, 566,102개의 아이템, 64,729개의 세션 트래젝토리, 13개의 액션 타입 포함.
**5단계 평가 프로토콜**: L0(환경 준수), L1(로컬 행동), L2(순차 행동), L3(개인화), L4(결과)로 구성.
**OPTD 알고리즘**: 트래젝토리 레벨 인텐트를 기반으로 밀집된 티처 타겟을 생성. 학습은 학습자-생성된 프리픽스에 기반한 온-폴리시 감독을 통해 진행.
**평가 모드**: Replay(로컬 행동 평가), Rollout(자유 실행 기반 전체 트래젝토리 평가).

주요 결과

OPTD는 UserArena 평가 프로토콜에서 가장 높은 전체 신뢰도를 달성.
L0: Rollout 모드에서 OVA(실행 가능한 액션 비율) 98.2% 달성.
L1: F1 스코어 73.2% (기존 베이스라인 대비 +12.4%).
L2: DM-JSD 0.11 (기존 대비 -0.08), TE 0.3 (기존 대비 -0.1).
L4: ΔCTR 0.01, ΔACR 0.02, T-JSD 0.09 (기존 대비 각각 -0.03, -0.04, -0.05).

의의 및 한계

UserArena는 장기적 상호작용을 반영한 사용자 시뮬레이션 평가 기준을 제공하며, 실제 정책 효과와 비교하는 오프라인 검증을 가능하게 한다. OPTD는 기존 시뮬레이터가 직면하는 주요 문제를 해결하고, 실제 사용자 행동을 더 정확하게 재현할 수 있다. 그러나 UserArena는 특정 아시아 전자상거래 플랫폼에 기반하기 때문에, 다른 지역이나 플랫폼으로의 일반화 가능성은 제한적이다. 또한, 트래젝토리 레벨 인텐트 추출의 정확도가 시뮬레이터 성능에 영향을 줄 수 있다.

실용적 활용

UserArena와 OPTD는 전자상거래 추천 시스템의 오프라인 평가 및 최적화에 활용 가능하다. 특히, 장기적 사용자 행동을 반영한 시뮬레이터는 정책 개선, 사용자 맞춤화, A/B 테스트 대체 등에 유용하게 사용될 수 있다.