When Should Models Change Their Minds? Contextual Belief Management in Large Language Models

Long-horizon interactions require language models to manage accumulating information: when to update their state, when to preserve their state, and what to ignore. We study this challenge as Contextual Belief Management (CBM): maintaining a predicted belief state aligned with formal evidence while isolating task-irrelevant noise. To make CBM measurable, we introduce BeliefTrack, a closed-world benchmark spanning Rule Discovery and Circuit Diagnosis, where a finite belief space and symbolic verifiers enable exact turn-level evaluation. BeliefTrack diagnoses three failures: Failed Stay, Failed Update, and Failed Isolation. Across multiple LLMs, vanilla models exhibit severe CBM failures, while explicit belief-tracking prompts provide limited gains. In contrast, reinforcement learning with belief-state rewards reduces failure rates by 70.9\% on average. Further probing reveals latent belief-state dynamics behind these failures, and representation-level steering reduces failure rates by 46.1\% across two tasks\footnote{Code is coming soon at https://github.com/zjunlp/CBM.

📋 한 줄 요약

**[LLM Belief Tracking / Long-Horizon]** BeliefTrack가 닫힌 세계에서 Failed Stay·Update·Isolation 3 실패 진단, vanilla LLM은 심각한 CBM 실패; belief-state reward RL이 평균 70.9% 실패 감소, representation steering이 두 task 평균 46.1% 감소.

🎯 핵심 기여도

Long-horizon interaction이 LLM에 accumulating information 관리 능력 — 상태 업데이트 시점·상태 보존 시점·무시 대상 — 을 요구함을 배경 소개.
이 도전을 Contextual Belief Management(CBM)로 형식화 — formal evidence에 정렬된 예측 belief state 유지하면서 task-irrelevant noise 격리.
CBM 측정성 확보 위해 BeliefTrack 도입 — Rule Discovery·Circuit Diagnosis를 포괄하는 closed-world 벤치마크, finite belief space와 symbolic verifier로 정확한 turn-level 평가 가능.
BeliefTrack가 3 실패 진단 — Failed Stay·Failed Update·Failed Isolation; 다수 LLM에서 vanilla 모델은 심각한 CBM 실패, 명시적 belief-tracking prompt는 제한적 향상; belief-state reward RL이 평균 70.9% 실패율 감소, representation-level steering이 두 task 평균 46.1% 감소.

💡 핵심 아이디어

Long-horizon 추론의 신뢰성은 belief state의 명시 관리(언제 stay·update·isolate)에 달려 있으며, closed-world의 symbolic verifier를 통해 정확히 측정 가능하고, prompting은 한계가 있는 반면 belief-state reward RL과 representation steering은 정량적으로 실패를 줄인다.

🔬 기술적 접근법

**방법론**: BeliefTrack 벤치마크 + belief-state reward RL + representation steering.
**핵심 기법**: (1) Closed-world 벤치마크(Rule Discovery·Circuit Diagnosis)와 finite belief space·symbolic verifier로 turn-level 정확 평가, (2) 3 실패 진단(Failed Stay·Update·Isolation), (3) Belief-tracking prompting baseline, (4) RL with belief-state reward, (5) Latent belief-state dynamics probe·representation-level steering.

📊 주요 결과

다양 LLM에서 vanilla 모델 심각한 CBM 실패 노출.
명시적 belief-tracking prompt는 제한적 향상.
Belief-state reward RL이 평균 70.9% 실패율 감소.
Representation-level steering이 두 task 평균 46.1% 감소.
Code 예고: github.com/zjunlp/CBM.

💭 의의 및 한계

**의의**: Long-horizon LLM의 누락된 평가 축(belief management)을 형식화, closed-world의 symbolic verification으로 정밀 진단 가능, RL·representation steering의 효과를 정량 입증. **한계**: Closed-world·symbolic 평가가 실제 open-world 대화와 차이, 70.9% 감소도 잔여 실패 존재, RL·steering의 학습 비용·일반화는 추가 검증.

🚀 실용적 활용

대화·plan·tool-use agent의 신뢰성 평가.
Long-horizon LLM의 belief tracking training.
LLM internal state 진단·intervention.