Abstract
Large language models increasingly operate in interactive settings where solving a task requires multiple rounds of information exchange with a user. However, most current systems treat dialogue reactively and lack a principled mechanism to reason about what information is missing and which question should be asked next. We propose BALAR (Bayesian Agentic Loop for Active Reasoning), a task-agnostic outer-loop algorithm that requires no fine-tuning and enables structured multi-turn interaction between an LLM agent and a user. BALAR maintains a structured belief over latent states, selects clarifying questions by maximizing expected mutual information, and dynamically expands its state representation when the current one proves insufficient. We evaluate BALAR on three diverse benchmarks: AR-Bench-DC (detective cases), AR-Bench-SP (thinking puzzles), and iCraft-MD (clinical diagnosis). BALAR significantly outperforms all baselines across all three benchmarks, with $14.6\%$ higher accuracy on AR-Bench-DC, $38.5\%$ on AR-Bench-SP, and $30.5\%$ on iCraft-MD.
한국어 요약
📋 한 줄 요약
**[LLM/에이전트]** 베이지안 신념 추적과 상호정보량 최대화로 LLM 에이전트의 다중 턴 능동 추론 능력을 강화하는 외부 루프 알고리즘 BALAR을 제안한다.
🎯 핵심 기여도
- 파인튜닝 없이 LLM에 이식 가능한 태스크 비종속적 능동 추론 외부 루프 BALAR 설계
- 잠재 상태에 대한 구조화된 신념을 유지하면서 기대 상호정보량(EMI)을 최대화하는 명료화 질문 선택 메커니즘 제안
- 현재 표현이 불충분할 때 상태 표현을 동적으로 확장하는 적응적 절차 도입
- 3개 능동 추론 벤치마크에서 모든 베이스라인 대비 일관된 성능 향상 입증
💡 핵심 아이디어
대화를 단순 반응형으로 처리하는 기존 LLM과 달리, 어떤 정보가 부족한지에 대한 베이지안 신념을 유지하고 다음 질문을 정보 이득 관점에서 선택한다. 신념 공간이 부족하면 즉석에서 확장하여 새로운 가설을 흡수한다.
🔬 기술적 접근법
- **모델/방법론**: BALAR — 베이지안 능동 추론 루프, 파인튜닝 불요
- **핵심 기법**: 잠재 상태에 대한 구조화된 사후분포를 유지하고, 후보 질문 중 기대 상호정보량을 최대화하는 질문을 선택. 상태 공간이 데이터를 설명하지 못하면 새로운 잠재 차원을 동적으로 추가하여 표현력을 확장.
📊 주요 결과
- AR-Bench-DC(추리 사건)에서 정확도 +14.6%
- AR-Bench-SP(사고 퍼즐)에서 +38.5%
- iCraft-MD(임상 진단)에서 +30.5% 향상
💭 의의 및 한계
**의의**: 추가 학습 없이 기존 LLM에 능동 추론 능력을 부여하는 일반 프레임워크로, 다중 턴 상호작용형 응용에 즉시 활용 가능. **한계**: EMI 계산 비용과 신념 공간 확장 휴리스틱의 일반화 범위가 명확히 평가되지 않음.
🚀 실용적 활용
- 임상 진단 보조용 다중 턴 문진 에이전트
- 기업 헬프데스크/탐문형 검색 보조
- 사용자 의도가 모호한 검색·추천 인터페이스의 명료화 질문 생성