Failure Recovery via Belief Updates and World Modeling for Long-Horizon Agents

Long-horizon agents often struggle to recover from failures whose causes lie several steps earlier, beyond what local reflection or backtracking can resolve. We introduce BELIEFWEAVER, a framework that combines persistent evidence across attempts with prospective reasoning over repair directions. It maintains a relational belief state over frontiers, attempts, observations, and checkpoints. Execution evidence updates related frontier priorities across attempts and rollback, while diagnostic evidence gates execution. An implicit world model (IWM) evaluates repair hypotheses, predicts progress, and identifies relations among frontiers to guide exploration. We further distill these recurring IWM reasoning components into a 9B student through supervised fine-tuning and on-policy distillation (OPD). Across three terminal-based benchmarks, BELIEFWEAVER improves aggregate final score by 5.1 percentage points over native Terminus-2 continuation, with positive trends in exploration efficiency. The distilled 9B student improves final score by 9.8 percentage points over the reported native baseline while reducing estimated teacher API cost by 54.8% relative to the matched teacher. These results show that persistent evidence and prospective reasoning can improve recovery in long-horizon agent tasks while substantially reducing reliance on teacher-model inference.

한 줄 요약

BeliefWeaver는 장기적 에이전트 작업에서 실패 복구를 위해 지속적 증거와 전망적 추론을 결합한 프레임워크로, 9B 학생 모델을 통해 54.8%의 API 비용 절감과 9.8%의 성능 향상을 달성한다.

핵심 기여도

지속적 증거와 복구 가설 간 관계를 활용한 frontier 우선순위 업데이트를 수행하는 복구 컨트롤러를 도입.
복구 가설 평가, 진행 예측, frontier 관계 추론을 수행하는 암묵적 월드 모델(IWM)을 개발.
IWM의 4가지 주요 역할을 9B 학생 모델로 정제(SFT + OPD)하여 교사 모델 API 사용량을 54.8% 감소시키며 9.8%의 성능 향상을 달성.
3개 터미널 기반 벤치마크에서 BeliefWeaver는 Terminus-2 대비 5.1%의 최종 점수 개선을 달성.

핵심 아이디어

장기적 에이전트는 초기 실수가 여러 단계를 통해 누적되어 실패를 유발할 수 있으며, 이는 단순한 롤백이나 로컬 리플렉션으로 해결하기 어렵다. BeliefWeaver는 실패 복구를 위해 **지속적 증거**(execution evidence)와 **전망적 추론**(prospective reasoning)을 결합한 새로운 접근법을 제시한다.

**지속적 관계적 믿음 상태**(persistent relational belief state)는 frontier, 시도(attempts), 관찰(observation), 체크포인트(checkpoints)를 추적하며, 이전 시도의 결과가 이후 탐색 우선순위에 반영되도록 한다. **진단 증거**(diagnostic evidence)는 실행 가능성 여부를 제어하는 역할을 하며, **암묵적 월드 모델**(IWM)은 복구 가설을 평가하고, 진행 예측과 frontier 간 관계를 추론하여 탐색 방향을 제시한다.

이러한 반복적 평가 과정은 **9B 학생 모델**로 정제되어, 교사 모델의 API 사용을 줄이면서도 성능을 유지한다. 이는 실패 시도가 단순히 재시도가 아닌 이후 탐색의 근거가 되도록 하는 **누적적 복구**(cumulative recovery)를 가능하게 한다.

기술적 접근법

**BeliefWeaver**는 지속적 관계적 믿음 상태를 유지하며, frontier, 시도, 관찰, 체크포인트를 추적.
**암묵적 월드 모델**(IWM)은 복구 가설 평가, 진행 예측, frontier 간 관계 추론을 수행.
**실행 증거**(execution evidence)는 frontier 우선순위를 업데이트하고, **진단 증거**(diagnostic evidence)는 실행 가능성 여부를 제어.
IWM의 4가지 주요 역할은 **9B 학생 모델**로 정제되며, **supervised fine-tuning**(SFT)과 **on-policy distillation**(OPD)을 통해 학습.
**복구 컨트롤러**(recovery controller)는 실행 증거와 복구 가설 간 관계를 활용해 frontier 우선순위를 업데이트.
**실행 결과**는 지속적 상태에 반영되어 이후 결정에 활용.

주요 결과

**3개 터미널 기반 벤치마크**에서 BeliefWeaver는 **Terminus-2 대비 5.1%의 최종 점수 개선**을 달성.
**9B 학생 모델**은 **9.8%의 최종 점수 개선**을 달성하며, **교사 모델 API 비용을 54.8% 감소**.
탐색 효율성도 긍정적인 흐름을 보임.

의의 및 한계

BeliefWeaver는 장기적 에이전트 작업에서 실패 복구를 위한 새로운 프레임워크로, 지속적 증거와 전망적 추론을 결합하여 **복구 과정을 누적적**으로 만든다. 특히, IWM을 학생 모델로 정제함으로써 **성능 유지와 비용 절감**을 동시에 달성한 점이 학술적·실용적으로 의미가 크다.

그러나, **학습된 믿음 업데이트**(learned and uncertainty-aware belief updates)나 **희소 피드백**(sparse feedback) 환경에서의 복구는 아직 연구 대상이며, **복구 컨트롤러 구성 요소 간 세부 책임**(finer attribution)도 개선 여지가 있다. 또한, **완벽한 롤백**(imperfect rollback) 상황에서의 성능도 추가 연구가 필요하다.

실용적 활용

BeliefWeaver는 자동 연구, 컴퓨터 사용, 순차적 결정 문제 해결 등 장기적 에이전트 작업에 적용 가능하다. 특히, **API 비용이 높은 대형 모델 기반 시스템**에서 **학생 모델을 통한 비용 절감**과 **복구 효율성 향상**이 요구되는 산업 분야에서 유용하게 활용될 수 있다.