PsyBer-Agent: A Psychology-Driven User Agent for Recommender Systems

Evaluating recommender systems before deployment requires simulators that remain realistic over long, closed-loop interaction cycles. Current LLM-based agents generally function as surface imitators that generate realistic short-term responses but fail to capture the underlying user dynamics such as fatigue, affect, and shifting preferences. We propose PsyBer-Agent, a psychology-inspired simulator that models these dynamics through its Psy-Engine. This engine represents each user with three evolving, model-defined latent states. To calibrate simulated behavior against real interaction logs, we align log-conditioned reference trajectories with simulator-generated latent-state trajectories via Unbalanced Gromov--Wasserstein optimal transport. This approach provides structured supervision for a lightweight policy without the computational burden of fine-tuning the backbone LLM. We also introduce WebSim and the PsyBer Benchmark, which encompass multimodal scenarios and seven recommender backbones. Our framework evaluates behavioral fidelity, latent-state consistency, robustness, and responses to social-cue perturbations. On the tested horizons, PsyBer-Agent shows lower behavioral discrepancy than the prompt-only simulators while maintaining stable performance under large-scale concurrent simulation for up to 5M queued simulation tasks under bounded concurrency. Code is available in the supplementary material and at: PsyBer-Agent: https://anonymous.4open.science/r/CC66F/, WebSim Platform: https://anonymous.4open.science/r/D8EAX/.

한 줄 요약

PsyBer-Agent는 심리학적 유저 상태를 모델링한 추천 시스템 시뮬레이터로, UGW 최적 운송을 통해 실제 로그와 일관된 행동을 생성한다.

핵심 기여도

**Psy-Engine**을 통해 유저의 인지, 감정/사회적 만족, 자기일관성 세 가지 **모델 정의 잠재 상태**를 모델링.
**Unbalanced Gromov–Wasserstein (UGW)** 최적 운송을 사용해 오프라인 로그와 시뮬레이터의 잠재 상태 경로를 정렬.
**WebSim 플랫폼**과 **PsyBer 벤치마크**를 도입, 다중 모달 시나리오와 7개 추천 백본을 아우르는 평가 프레임워크 제공.
5M 개의 시뮬레이션 작업을 처리하면서 **91% 이상 성공률**과 **3.80초 이하 p95 지연**을 달성.

핵심 아이디어

기존 LLM 기반 시뮬레이터는 단기적 현실감을 유지하지만, **피로, 감정, 선호도 변화**와 같은 장기적 유저 동태를 포착하지 못한다. 이에 반해 PsyBer-Agent는 **심리학적 메커니즘**을 모델링한 **Psy-Engine**을 도입하여, 유저의 인지, 감정/사회적 만족, 자기일관성 세 가지 상태를 **시간에 따라 진화하는 잠재 상태**로 표현한다. 이러한 상태는 **개인 프로필, 메모리, 멀티모달 아이템 표현**과 상호작용하며, 행동은 명시적인 상태 전이를 통해 생성된다. UGW 최적 운송은 **오프라인 로그와 시뮬레이터의 잠재 상태 경로를 정렬**하여, LLM 미세조정 없이도 **가벼운 정책 학습**이 가능하도록 한다.

기술적 접근법

**Psy-Engine**: 유저의 인지 (Cognition), 감정/사회적 만족 (Emotional/Social Satisfaction), 자기일관성 (Self-congruence) 세 가지 잠재 상태를 정의.
**UGW 최적 운송**: 오프라인 로그 기반 참조 경로와 시뮬레이터 생성 잠재 상태 경로를 정렬.
**WebSim**: 멀티모달 시나리오와 7개 추천 백본을 포함한 시뮬레이션 플랫폼.
**Qwen3-VL-235B**를 백본으로 사용하며, **메모리 제거 시 HR10 차이 0.0160 증가**, **프로필 제거 시 0.0400 증가**로, 메모리와 프로필 모델링이 중요한 역할을 함.
**CES-MSE**: 시뮬레이터와 참조 상태 간의 평균 제곱 오차를 계산, 내부 상태 일관성을 평가.

주요 결과

**MM-ML-1M 데이터셋**에서 PsyBer-Agent는 **HR10, NDCG10, CTR** 지표에서 실제 사용자와 **0.0030, 0.0016, 0.0040**의 차이를 보임.
**JSD, Pearson R, EMD** 지표에서 Amazon Magazine Subscriptions보다 MM-ML-1M에서 더 큰 차이 발생.
**5M 개의 시뮬레이션 작업** 처리 시, **p95 지연 3.80초**, **성공률 91% 이상**, **4.1 작업/초 처리량** 달성.
**CES-MSE**는 시뮬레이터와 참조 상태 간의 일관성을 측정하며, 값이 낮을수록 상태 일관성이 높음.

의의 및 한계

PsyBer-Agent는 추천 시스템의 **전체 루프 평가**를 가능하게 하며, **대규모 병렬 시뮬레이션**을 지원하는 실용적 솔루션이다. 특히, **UGW 정렬**을 통해 **LLM 미세조정 없이도 정책 학습**이 가능하다는 점에서 혁신적이다. 하지만, **심리학적 유효성**은 독립적으로 검증되지 않았으며, **실제 A/B 테스트 결과 예측**도 보장되지 않는다. 또한, **복잡한 사회적 상호작용**이나 **장기적 환경 변화**에 대한 평가가 부족하다는 한계가 있다.

실용적 활용

PsyBer-Agent는 추천 시스템의 **프리-디플로이먼트 평가**, **A/B 테스트**, **로버스트성 분석**에 활용 가능하다. 특히, **대규모 병렬 시뮬레이션**이 필요한 산업에서는 **5M 작업 처리**를 통해 **비용 효율적이고 확장 가능한 평가**를 지원한다. 멀티모달 추천 시스템 개발자나, 사용자 행동 분석을 필요로 하는 마케팅 부서에서 유용하게 사용될 수 있다.