REPOT: Recoverable Program-of-Thought via Checkpoint Repair

One-shot Program-of-Thought (PoT) emits a Python program that prints a primitive-action plan; a single invalid action silently invalidates the trajectory. We introduce RePoT (Recoverable PoT): a deterministic verified replay that walks the plan through the environment to its first invalid transition, then one LLM call that resumes from the verified prefix. RePoT costs at most one extra LLM call on the ~14% of problems where PoT fails. RePoT beats PoT by +3 to +11pp across four closed-model configurations on PuzzleZoo-775 and peaks at 96.9% vs 86.3% on gpt-5.4-mini-medium; against the matched-budget PoT-retry baseline, RePoT wins decisively on Gemini (+3.8pp, 95% CI [+2.2,+5.4]), is within sampling noise on GPT-medium and Claude, and loses on GPT-mini -- a capability-scaling pattern we begin to address with Adaptive RePoT, a rule-based dispatcher that routes between suffix repair and a fresh PoT retry based on verified-prefix length (preliminary). We replicate on PlanBench Blocksworld (+1.1 to +11.4pp) and on four open-weights models (+3.3 to +20.0pp on three of four). On Derail-550, our controlled recovery benchmark, every condition with access to checkpoint information clears >=30% on GPT-medium and >=70% on Gemini, vs <=3.1% for error-only feedback -- showing that checkpoint information, not the specific verified-prefix tail, is the load-bearing recovery signal.

📋 한 줄 요약

**[Program-of-Thought / Checkpoint Repair]** RePoT가 PoT plan을 환경에서 verified replay로 first invalid transition까지 walk 후 single LLM call로 suffix 재개 — PuzzleZoo-775에서 PoT 대비 +3~+11pp, gpt-5.4-mini-medium 96.9% vs 86.3%.

🎯 핵심 기여도

One-shot PoT가 primitive-action plan을 print하는 Python 프로그램을 emit하지만 단일 invalid action 하나가 trajectory 전체를 silently 무효화하는 fragility 진단.
RePoT — deterministic verified replay가 plan을 환경에서 first invalid transition까지 walk, 이어 single LLM call이 verified prefix에서 resume하며 suffix 생성.
RePoT 비용은 PoT 실패율(~14%) 영역에서만 최대 한 번의 extra LLM call.
4개 closed-model 설정·PuzzleZoo-775에서 PoT 대비 +3~+11pp 향상, gpt-5.4-mini-medium에서 정점 96.9% vs 86.3%; matched-budget PoT-retry baseline 대비 Gemini에서 결정적 승(+3.8pp, 95% CI [+2.2,+5.4]), GPT-medium·Claude는 sampling noise 내, GPT-mini는 lose — Adaptive RePoT(rule-based dispatcher, verified-prefix length 기반 suffix repair·PoT retry 라우팅)로 capability-scaling 패턴 일부 해소; PlanBench Blocksworld·4 open-weights 모델 replication과 Derail-550 통제 벤치마크 결과로 checkpoint 정보가 load-bearing 회복 신호임을 입증.

💡 핵심 아이디어

PoT의 single-error fragility는 verified replay로 검증된 prefix를 추출하고 그 지점부터 single LLM call로 suffix를 재생성하는 deterministic recovery로 해결 가능하며, error 단서가 아닌 checkpoint 정보 자체가 load-bearing 회복 신호다.

🔬 기술적 접근법

**방법론**: RePoT — verified-replay + LLM suffix repair.
**핵심 기법**: (1) PoT plan을 환경에서 deterministic walk, (2) First invalid transition까지 verified prefix 추출, (3) 그 시점부터 single LLM call로 plan suffix resume, (4) 추가 비용은 PoT 실패 영역(~14%)에서만 발생, (5) Adaptive RePoT — verified-prefix length 기반 dispatcher가 suffix repair vs fresh PoT retry 라우팅, (6) Derail-550 통제 벤치마크에서 checkpoint 정보의 load-bearing 역할 검증.

📊 주요 결과

PuzzleZoo-775에서 4 closed-model 설정 PoT 대비 +3~+11pp, gpt-5.4-mini-medium에서 96.9% (vs PoT 86.3%).
Matched-budget PoT-retry: Gemini 결정 승(+3.8pp), GPT-medium·Claude noise 내, GPT-mini lose.
PlanBench Blocksworld: +1.1~+11.4pp.
4 open-weights 모델 중 3에서 +3.3~+20.0pp.
Derail-550: checkpoint 정보 조건 모두 GPT-medium ≥30%·Gemini ≥70%, error-only 피드백은 ≤3.1%.

💭 의의 및 한계

**의의**: PoT의 단일 실패점을 minimal cost로 회복하는 일반 메커니즘 제시, error-message가 아닌 verified state가 회복의 핵심임을 정량 입증, capability-scaling 한계까지 분석한 정직성. **한계**: 환경 verifiable replay 가능성 전제(closed-form 환경 한정), GPT-mini 등 작은 모델에서는 fresh retry가 더 나은 capability 패턴, Adaptive 라우팅의 dispatcher 룰 의존.

🚀 실용적 활용

LLM agent의 plan execution robust화.
Code·planning 에이전트의 실패 회복.
Verifiable 환경(블록월드·게임·시뮬레이션)의 LLM 정책 강화.