Do LLMs Recognize Your Preferences? Evaluating Personalized Preference Following in LLMs

Large Language Models (LLMs) are increasingly used as chatbots, yet their ability to personalize responses to user preferences remains limited. We introduce PrefEval, a benchmark for evaluating LLMs' ability to infer, memorize and adhere to user preferences in a long-context conversational setting. PrefEval comprises 3,000 manually curated user preference and query pairs spanning 20 topics. PrefEval contains user personalization or preference information in both explicit and implicit forms, and evaluates LLM performance using a generation and a classification task. With PrefEval, we evaluated the aforementioned preference following capabilities of 10 open-source and proprietary LLMs in multi-session conversations with varying context lengths up to 100k tokens. We benchmark with various prompting, iterative feedback, and retrieval-augmented generation methods. Our benchmarking effort reveals that state-of-the-art LLMs face significant challenges in proactively following users' preferences during conversations. In particular, in zero-shot settings, preference following accuracy falls below 10% at merely 10 turns (~3k tokens) across most evaluated models. Even with advanced prompting and retrieval methods, preference following still deteriorates in long-context conversations. Furthermore, we show that fine-tuning on PrefEval significantly improves performance. We believe PrefEval serves as a valuable resource for measuring, understanding, and enhancing LLMs' preference following abilities, paving the way for personalized conversational agents. Our code and dataset are available at https://prefeval.github.io/.

한 줄 요약

PrefEval이라는 새로운 벤치마크를 통해 대형 언어 모델의 개인화된 선호도 추적 능력을 평가하고, 기존 모델의 한계를 밝혀냄.

핵심 기여도

PrefEval이라는 3,000개의 수작업된 선호도-질의 쌍을 포함한 벤치마크를 제안.
10개의 오픈소스 및 프로퍼티어리 LLM을 100k 토큰 길이의 대화 상황에서 평가.
제로샷 설정에서 10턴(약 3k 토큰) 이후 선호도 추적 정확도가 10% 미만으로 급격히 감소함을 밝힘.
PrefEval 데이터셋을 기반으로 학습하면 선호도 추적 성능이 크게 향상됨.

핵심 아이디어

대형 언어 모델(LLM)이 대화 내에서 사용자의 선호도를 추적하고 반영하는 능력은 개인화된 챗봇 개발에 필수적이지만, 기존 연구에서는 이 능력을 체계적으로 평가하는 방법이 부족했다. 본 연구는 PrefEval이라는 새로운 벤치마크를 통해 LLM이 사용자의 명시적 및 암묵적 선호도를 추론하고, 기억하며, 반영하는 능력을 평가한다. PrefEval은 20개 주제에 걸쳐 3,000개의 수작업된 선호도-질의 쌍을 포함하며, 생성 및 분류 두 가지 태스크를 통해 평가한다. 핵심 통찰은, LLM이 긴 대화 맥락에서 사용자의 선호도를 유지하고 반영하는 데 어려움을 겪으며, 이는 명시적 프롬프팅 없이 제로샷 설정에서 특히 두드러진다는 점이다.

기술적 접근법

**데이터셋**: PrefEval (3,000개의 수작업된 선호도-질의 쌍, 20개 주제, 명시적/암묵적 선호도 포함)
**평가 대상 모델**: Claude, Mistral, GPT-4, LLaMA 시리즈 등 10개의 LLM
**맥락 길이**: 최대 100k 토큰
**평가 방법**: 생성 및 분류 태스크, 다양한 프롬프팅, 반복 피드백, RAG (Retrieval-Augmented Generation) 방법 활용
**학습 실험**: PrefEval 데이터셋을 기반으로 학습한 모델의 성능 향상 분석

주요 결과

**제로샷 설정**: 10턴 (~3k 토큰) 이후 선호도 추적 정확도가 10% 미만으로 급격히 감소.
**RAG 및 프롬프팅**: 선호도 추적 성능은 개선되나, 100k 토큰 길이의 대화에서는 여전히 저하됨.
**Fine-tuning 효과**: PrefEval 데이터셋을 기반으로 학습하면 선호도 추적 성능이 크게 향상됨.
**복수 선호도**: 동일 대화 내 여러 선호도가 존재할 경우, 모델이 더 잘 반응함 (모순된 선호도라도).

의의 및 한계

PrefEval은 LLM이 대화 상황에서 사용자의 선호도를 추적하고 반영하는 능력을 체계적으로 평가하는 데 중요한 자원을 제공한다. 특히, 기존 모델이 긴 맥락에서 사용자의 선호도를 유지하는 데 어려움을 겪는다는 점을 밝혀내며, 개인화된 챗봇 개발의 방향성을 제시한다. 그러나 본 연구는 주로 영문 데이터를 기반으로 하며, 다국어 및 문화적 맥락에서의 일반화 가능성은 추가 연구가 필요하다. 또한, 실제 사용자와의 대화에서의 동적 반응 능력은 실험 환경과 다를 수 있다.

실용적 활용

PrefEval은 개인화된 챗봇, 가상 개인 비서, 맞춤형 추천 시스템 등에서 사용자의 선호도를 반영하는 LLM의 성능을 평가하고 개선하는 데 활용될 수 있다. 특히, 대형 기업이 수백만 명의 사용자에게 맞춤형 서비스를 제공할 때, PrefEval을 기반으로 학습한 모델이 사용자 경험을 향상시키는 데 기여할 수 있다.