Agent-BRACE: Decoupling Beliefs from Actions in Long-Horizon Tasks via Verbalized State Uncertainty

Large language models (LLMs) are increasingly deployed on long-horizon tasks in partially observable environments, where they must act while inferring and tracking a complex environment state over many steps. This leads to two challenges: partial observability requires maintaining uncertainty over unobserved world attributes, and long interaction history causes context to grow without bound, diluting task-relevant information. A principled solution to both challenges is a belief state: a posterior distribution over environment states given past observations and actions, which compactly encodes history for decision making regardless of episode length. In LLM agents, however, the open-ended nature of text makes it unclear how to represent such a distribution. Therefore, we introduce Agent-BRACE: Agent Belief state Representation via Abstraction and Confidence Estimation, a method that decouples an LLM agent into a belief state model and a policy model, jointly optimized via reinforcement learning. The belief state model produces a structured approximation of the belief distribution: a set of atomic natural language claims about the environment, each annotated with an ordinal verbalized certainty label ranging from certain to unknown. The policy model conditions on this compact, structured approximate belief rather than the full history, learning to select actions under explicit uncertainty. Across long-horizon, partially observable embodied language environments, Agent-BRACE achieves an average absolute improvement of +14.5% (Qwen2.5-3B-Instruct) and +5.3% (Qwen3-4B-Instruct), outperforming strong RL baselines while maintaining a near-constant context window independent of episode length. Further analysis shows that the learned belief becomes increasingly calibrated over the course of an episode as evidence accumulates.

📋 한 줄 요약

**[LLM 에이전트 / 강화학습]** 장기 부분관측 과제에서 LLM 에이전트의 신념 상태(belief state)를 자연어 원자 명제 + 서수형 확신 라벨로 표현하여 정책 모델과 분리하고, RL로 공동 최적화하는 Agent-BRACE를 제안한다.

🎯 핵심 기여도

LLM 에이전트를 신념 상태 모델과 정책 모델로 분리하여 RL로 공동 최적화하는 구조 제안
신념 상태를 환경에 대한 원자 자연어 명제 집합 + 서수형 확신 라벨(certain ~ unknown)로 구조화 표현
에피소드 길이와 무관하게 거의 일정한 컨텍스트 윈도우 유지
Qwen2.5-3B-Instruct에서 +14.5%p, Qwen3-4B-Instruct에서 +5.3%p의 절대 성능 향상

💡 핵심 아이디어

부분관측 환경의 핵심은 사후분포(신념 상태)인데, LLM에서는 이를 자유로운 텍스트가 아닌 "원자 명제 + 확신 등급"이라는 구조화된 근사로 표현하면 정책이 명시적 불확실성을 조건으로 행동을 선택할 수 있다. 신념을 압축된 표현으로 두면 컨텍스트 폭발도 막을 수 있다.

🔬 기술적 접근법

**모델/방법론**: Qwen2.5-3B-Instruct 및 Qwen3-4B-Instruct를 베이스로, 신념 상태 모델과 정책 모델을 강화학습으로 공동 최적화
**핵심 기법**: 신념을 원자 자연어 명제 + 서수형 확신 라벨 집합으로 표현하고, 정책은 전체 이력 대신 이 압축된 신념만을 조건으로 행동 선택

📊 주요 결과

장기 부분관측 임바디드 언어 환경에서 강력한 RL 베이스라인을 능가
Qwen2.5-3B-Instruct: 평균 +14.5%p 절대 성능 향상
Qwen3-4B-Instruct: 평균 +5.3%p 절대 성능 향상
에피소드 진행에 따라 학습된 신념의 보정(calibration) 정도가 점차 개선됨을 분석으로 확인

💭 의의 및 한계

**의의**: 강화학습에서 오래 연구된 신념 상태 개념을 LLM 에이전트에 자연어로 명시적으로 도입하고, 컨텍스트 폭발 문제와 부분관측 동시 해결을 보여준 첫 번째 작업 중 하나이다. **한계**: 신념 표현을 위한 추가 모델과 RL 학습 비용이 필요하며, 평가가 임바디드 언어 환경에 한정되어 도구 사용이나 코드 같은 다른 도메인 일반화는 검증이 필요하다.

🚀 실용적 활용

가정용 로봇·게임 NPC 등 장기 부분관측 임바디드 에이전트
다회차 고객 상담·계약 협상처럼 누적되는 컨텍스트가 문제 되는 LLM 워크플로
불확실성 인식이 필수인 의료·법률 의사결정 보조 시스템

Abstract

한국어 요약