Bridging Exploration and Persona: Information-Directed Dueling for Test-Time Agent Personalization

Effective test-time personalization requires LLM agents to adapt to query-dependent user preferences from lightweight interaction. We study persona selection with binary comparisons between candidate responses as the online signal. We present ID-TAP, a scalable, IDS-inspired neural dueling-bandit framework for large discrete persona spaces. ID-TAP combines a query-conditioned neural utility model with a lightweight Bradley-Terry explorer, and transfers comparison evidence across related queries through similarity-weighted warm starts. The neural model shares statistical strength across queries while preserving query-specific scores, and efficient BT updates score hypothetical challengers. Across seven user-conditioned generation benchmarks under reference- and model-based preference simulators, ID-TAP achieves the strongest aggregate performance among the evaluated baselines within a fixed ten-round comparison budget. These results support information-directed challenger selection as an effective design for test-time persona adaptation.

한 줄 요약

ID-TAP은 테스트 시점에서 사용자 선호에 맞춘 LLM 에이전트 개인화를 위해 정보 지향적 듀얼링 밴딧 프레임워크를 제안한다.

핵심 기여도

ID-TAP은 IDS(Information-Directed Sampling) 기반의 듀얼링 밴딧 프레임워크로, 대규모 이산 퍼소나 공간에서 확장 가능하다.
Bradley-Terry(BT) 업데이터를 활용한 가상 도전자 점수 계산을 통해 효율적인 탐색을 수행한다.
유사도 가중치를 적용한 워밍업 시작(warm start)을 통해 관련된 쿼리 간 비교 정보를 전달한다.
7개의 사용자 조건 생성 벤치마크에서 10라운드 비교 예산 내 기존 기반 모델 대비 가장 높은 평균 성능을 달성한다.

핵심 아이디어

ID-TAP은 테스트 시점에서 사용자 선호에 맞춘 LLM 에이전트 개인화 문제를 듀얼링 밴딧 문제로 모델링한다. 기존 UCB 또는 톰슨 샘플링 기반 방법은 도전자 후보를 반복적으로 선택하여 효율성이 떨어지는 반면, ID-TAP은 정보 지향적 선택을 통해 탐색과 이용의 균형을 유지한다. 핵심 아이디어는 두 가지 모듈의 결합: 쿼리 조건에 따른 신경망 유틸리티 모델과 가벼운 BT 업데이터이다. 신경망은 쿼리 간 통계적 강점을 공유하면서도 쿼리별 점수를 유지하며, BT 업데이터는 효율적으로 가상 도전자 후보를 점수화한다. 이는 IDS에서 유래한 엔트로피 감소 프록시를 사용하여 도전자 선택을 최적화한다.

기술적 접근법

**ID-TAP**: IDS(Information-Directed Sampling)에서 영감을 받은 듀얼링 밴딧 프레임워크.
**쿼리 조건 신경망 유틸리티 모델**: 쿼리별 유틸리티 격차를 추정.
**Bradley-Terry 업데이터**: 가상 도전자 후보의 비교 결과를 효율적으로 점수화.
**유사도 가중치 워밍업 시작**: 관련 쿼리 간 비교 정보를 재사용.
**비교 예산**: 10라운드로 제한된 환경에서 최적화.

주요 결과

7개의 사용자 조건 생성 벤치마크에서 ID-TAP은 10라운드 비교 예산 내 기존 기반 모델 대비 가장 높은 평균 성능을 달성.
기존 UCB 및 톰슨 샘플링 기반 방법보다 더 높은 집계 성능(+Z% 개선, 명시되지 않음).
자동화된 선호 피드백 시스템에서 ID-TAP이 가장 높은 평균 성능을 보임.

의의 및 한계

ID-TAP은 테스트 시점에서 사용자 선호에 맞춘 LLM 에이전트 개인화 문제를 효율적으로 해결할 수 있는 새로운 프레임워크를 제시한다. 특히, 대규모 이산 퍼소나 공간에서 확장 가능하며, 비교 예산이 제한된 환경에서도 뛰어난 성능을 보인다. 그러나 실제 사용자와의 상호작용을 기반으로 한 평가가 아직 이루어지지 않았으며, 유한 샘플 분석도 필요하다는 한계가 있다. 또한, 퍼소나 설명이 의미적으로 밀집되어 있을 경우의 일반화 가능성도 추가 연구가 필요하다.

실용적 활용

ID-TAP은 고객 맞춤형 챗봇, 개인화된 콘텐츠 생성, 사용자 맞춤형 추천 시스템 등에서 활용될 수 있다. 특히, 사용자 피드백이 제한적이거나 이진 선호만 가능한 상황에서 효과적일 수 있다. 예를 들어, 고객 지원 챗봇에서 사용자의 스타일 선호를 실시간으로 반영하여 대화 톤을 조정하는 데 활용 가능하다.