HABIT-Bench: Evaluating Habit Induction from Longitudinal Weak Evidence in Agent Memory

In long-term interactions with large language model (LLM) agents, users reveal habits through their choices and actions. These habits capture implicit user information that agents must infer across conversations. However, individual observations may provide only partial evidence about a habit or when it applies. Retaining past interactions alone does not ensure that agents can infer habits and apply them appropriately. We introduce HABIT-Bench to evaluate how well agent memory systems infer habits from weak evidence and apply them to later requests. We construct synthetic user histories from task-oriented dialogue data and controlled habit graphs. The histories span hundreds of sessions across food, finance, software, and travel. Four-choice tasks assess agents' ability to infer user habits and apply them appropriately. They include temporary exceptions, changes in habits, and suggestions that users have not accepted. Sampled tasks undergo independent human review. We evaluate eight memory methods with Qwen3-235B-A22B and GLM-5.3-Flash. The best-performing memory method achieves 33.61\% macro accuracy across the four domains. Performance remains limited even when annotated evidence is supplied directly. These results expose a persistent gap between access to past interactions and the ability to infer and appropriately use user habits.

한 줄 요약

HABIT-Bench는 대형 언어 모델이 장기적 사용자 상호작용에서 습관을 추론하고 적용하는 능력을 평가하는 벤치마크로, 4개 도메인에서 최고 33.61%의 정확도를 기록했다.

핵심 기여도

습관 추론 능력을 정의하고, HABIT-Bench라는 4개 도메인(식음료, 금융, 소프트웨어, 여행)을 포함한 새로운 벤치마크를 제시.
Qwen3-235B-A22B와 GLM-5.3-Flash를 사용한 8가지 메모리 메서드 평가. 최고 성능은 GLM-5.3-Flash 기반 메서드로 33.61%의 매크로 정확도 달성.
사용자 습관의 유효성, 예외, 시간적 유효성, 사용자 승인 여부를 고려한 정확한 결정을 위한 메모리 시스템 평가 프로토콜 제시.
단순 검색 기반 접근과 복잡한 메모리 파이프라인의 성능 차이를 실험적으로 분석.

핵심 아이디어

HABIT-Bench는 사용자의 장기적 습관을 추론하고, 그 습관이 새로운 요청에 어떻게 적용될 수 있는지를 평가하는 데 중점을 둔다. 기존 메모리 시스템은 단순히 과거 상호작용을 보존하는 데 그치며, 습관의 유효성 판단 능력이 부족하다는 점에서 출발한다. 이 연구는 습관 추론을 "행동적 기본값 추론"과 "그 기본값의 적절한 적용 판단"의 결합 문제로 정의한다. 사용자의 습관은 반복된 선택이나 특정 맥락에서만 적용될 수 있으며, 보조 제안은 반드시 사용자 결정이 아닐 수 있다. 따라서 메모리 시스템은 단순히 과거 데이터를 저장하는 것이 아니라, 습관의 조건과 예외를 이해하고, 이를 새로운 상황에 적절히 적용할 수 있어야 한다는 통찰이 핵심이다.

기술적 접근법

**HABIT-Bench 구성**: 114명의 사용자, 37,152개 세션, 3,328개 탐색 질문을 포함. 4개 도메인(식음료, 금융, 소프트웨어, 여행)에서 습관 추론을 평가.
**평가 프로토콜**: 사용자별 메모리 $M_u^t = \text{Update}(M_u^{t-1}, s_t)$로 업데이트, 탐색 시 $R_p = \text{Retrieve}(M_u^{t_p}, x_p)$로 정보 검색. 공통 응답자 $a^p = \text{Answer}(x_p, \mathcal{A}_p, R_p)$를 통해 4가지 선택지 중 하나를 예측.
**모델**: Qwen3-235B-A22B (40,960 토큰 컨텍스트, BF16, 8-way 텐서 병렬)와 GLM-5.3-Flash API를 사용.
**메모리 메서드**: 8가지 메모리 메서드와 검색 기반 베이스라인, 압축 히스토리 제어와 비교.

주요 결과

Qwen3-235B-A22B 기반 최고 메모리 메서드: 33.06% 매크로 정확도.
GLM-5.3-Flash 기반 최고 메모리 메서드: 33.61% 매크로 정확도.
GLM-5.3-Flash 압축 히스토리 제어: 41.98% 정확도.
Oracle Evidence를 제공해도 여전히 25% 이상의 오류 발생.
단순 검색 기반 접근과 복잡한 메모리 파이프라인의 성능 차이는 미미함.

의의 및 한계

HABIT-Bench는 사용자 습관을 추론하고, 그 습관이 새로운 상황에 적절히 적용되는지 평가하는 체계적인 프레임워크를 제공하며, 메모리 시스템의 학습과 추론 능력을 명확히 평가할 수 있다. 특히, 습관의 유효성 판단과 예외 처리 능력은 기존 메모리 연구에서 다루어지지 않았던 핵심 영역이다. 그러나, 사용자 습관의 추론은 여전히 제한적이며, 단순히 과거 데이터를 보존하는 것 이상의 메커니즘이 필요하다는 점이 드러난다. 또한, GLM-5.3-Flash의 압축 히스토리 제어가 높은 성능을 보이지만, 이는 메모리 구조의 복잡성과는 무관하다는 한계도 존재한다.

실용적 활용

HABIT-Bench는 개인화된 서비스를 제공하는 대형 언어 모델의 메모리 시스템 평가에 활용될 수 있으며, 특히 금융, 여행, 소프트웨어 등 장기적 사용자 상호작용이 필요한 분야에서 습관 추론과 적용 능력을 개선하는 데 기여할 수 있다. 또한, 사용자 습관의 예외 처리와 시간적 유효성을 고려한 메모리 설계에 중요한 인사이트를 제공한다.