OLIVIA: Online Learning via Inference-time Action Adaptation for Decision Making in LLM ReAct Agents

Large language model agents interleave reasoning, action selection, and observation to solve sequential decision-making tasks. In deployed settings where agents repeatedly handle related multi-step tasks, small action-selection errors can accumulate into wasted tool calls, latency, and reduced reliability. Despite this need for deployment-time improvement, existing inference-time adaptation methods for LLM agents mainly rely on prompting or retrieval, which influence behavior indirectly through context manipulation. For ReAct-style agents, such approaches do not expose an explicit decision layer that can score candidate actions, represent uncertainty, or be updated online from action-level feedback. As a result, they provide limited support for trackable, fine-grained, and uncertainty-aware adaptation during deployment. We propose OLIVIA, an inference-time action adaptation framework for ReAct-style agents. OLIVIA models the LLM's final action-selection layer as a contextual linear bandit over candidate actions, with frozen hidden states as decision contexts. This choice is particularly suitable for deployment because it adapts behavior directly at the action-selection interface, preserves the underlying reasoning process, and provides explicit uncertainty estimates and lightweight online updates from action-level feedback. With upper-confidence-bound exploration, OLIVIA improves the policy sample-efficiently with minimal computational overhead. We instantiate OLIVIA on four benchmarks and show that it consistently improves task performance over static ReAct and prompt-based inference-time baselines. Our results suggest that explicit online decision layers provide an effective alternative to purely prompt- or retrieval-based adaptation for LLM agents during deployment.

📋 한 줄 요약

**[LLM 에이전트 / 온라인 학습]** ReAct 에이전트의 최종 행동 선택층을 컨텍스트 선형 밴딧으로 모델링하여 LLM 가중치를 고정한 채 행동 단위 피드백으로 온라인 적응시키는 OLIVIA 프레임워크를 제안한다.

🎯 핵심 기여도

ReAct 스타일 LLM 에이전트의 행동 선택층을 LLM의 히든 상태를 컨텍스트로 사용하는 선형 밴딧으로 명시적으로 모델링
프롬프트나 RAG가 아닌 행동 선택 인터페이스에서 직접 적응하는 추론 시점 학습 프레임워크 제시
상한신뢰구간(UCB) 탐색으로 추가 계산 비용 없이 샘플 효율적 정책 개선
4개 벤치마크에서 정적 ReAct와 프롬프트 기반 추론 시점 기법을 일관되게 능가

💡 핵심 아이디어

ReAct 에이전트는 프롬프트나 RAG로만 적응 가능했지만 이는 행동 선택을 우회한 간접 영향이었다. 마지막 행동 선택을 컨텍스트 밴딧으로 명시적으로 모델링하면 LLM 추론은 그대로 두면서 행동 단위 피드백으로 빠르게 온라인 적응할 수 있고, UCB로 탐색-활용도 통제 가능하다.

🔬 기술적 접근법

**모델/방법론**: LLM은 동결한 채 마지막 행동 선택층을 컨텍스트 선형 밴딧으로 모델링 - 컨텍스트는 LLM 히든 상태
**핵심 기법**: UCB 탐색으로 후보 행동을 스코어링하고 행동 결과 피드백으로 가벼운 온라인 가중치 갱신, 명시적 불확실성 추정 제공

📊 주요 결과

4개 벤치마크에서 정적 ReAct 대비 일관된 작업 성능 향상
프롬프트 기반 추론 시점 베이스라인을 일관되게 능가
명시적 불확실성 추정과 가벼운 온라인 업데이트로 실배포 친화적
컨텍스트 조작이 아닌 행동 단위 피드백으로 학습되어 추적 가능성 확보

💭 의의 및 한계

**의의**: LLM 에이전트의 실배포 환경에서 모델 재학습 없이 작은 결정층만 온라인 적응시키는 깔끔한 분리 구조를 보여주며, 불확실성 추정과 탐색을 명시적으로 다룬다는 점에서 신뢰 가능 AI에 부합한다. **한계**: 행동 후보 집합이 정의되어 있어야 하며 행동 공간이 매우 크거나 비정형일 때는 적용이 까다롭고, 선형 밴딧 가정의 표현력 한계가 복잡한 컨텍스트에서 병목이 될 수 있다.

🚀 실용적 활용

도구 호출 LLM 에이전트가 배포 후 사용자 피드백으로 점진적으로 개선되는 시스템
콜센터·고객지원에서 응답 행동 선택을 사용자 평가로 온라인 학습
게임 NPC가 플레이어 행동에 적응하는 inference-time 개인화