StateM: Reaching 95.3% Raw Accuracy, or a \$15 Frontier Run, on Terminal-Bench 2.1 via Harness Scaling

Long-horizon agents can fail even when their underlying models can solve the constituent steps. They may lose track of mutable state, fail to reactivate lessons from earlier executions, skip known procedures, or stop prematurely. We bet on harness scaling to improve the execution system around an agent without changing its model weights. We introduce StateM, an agent-native runtime that organizes execution around durable states, phase-local context, checked transitions, recoverable runbooks, and versioned procedural practices that agents and users can inspect together. On Terminal-Bench 2.1, StateM raises GPT-5.5 xhigh to 92.1\%, versus 83.1\% reference and GPT-5.6 Sol Ultra at 91.9\%. The runbook transfers unchanged to GPT-5.6. With GPT-5.6 Sol xhigh, StateM reaches 95.3\% raw accuracy across 445 trials and succeeds on all 89 tasks at least once. The frozen profile raises GPT-5.6 Luna from 76.7 to 85.4\%, above the 84.9\% Sol xhigh reference. Using the same runtime, runbook structure, and golden rules, less than \38 of adaptation raises DeepSeek-V4 Flash from 82.7 to 88.1% under standard timeouts and to 89.1% on an 88-task common core. Extending only the remaining latency-sensitive task matches the reported 88.8% GPT-5.6 Sol max result. Final-score API usage is about 15 versus \574.68 for the GPT reference; total DeepSeek expenditure is 52.22. On BusinessBench, family-specific runbooks built on development sets yield held-out gains of 0.55 macro and 1.34 micro points; two mechanism-matched families improve by 10.04 points. Concrete rules generalize when tasks share execution structure, while the control methodology applies broadly. StateM turns selected postmortem findings into persistent, executable preconditions and practices, making learned controls explicit and enforceable through stateful controls. Code at github.com/henryqin1997/statem.

한 줄 요약

StateM은 실행 시스템의 확장으로 GPT-5.6 기반 에이전트의 Terminal-Bench 정확도를 95.3%까지 끌어올렸다.

핵심 기여도

StateM은 GPT-5.6 Sol xhigh 기반에서 Terminal-Bench 2.1에서 95.3%의 raw 정확도 달성.
GPT-5.6 Luna 모델의 성능을 76.7% → 85.4%로 향상.
DeepSeek-V4 Flash 모델의 성능을 82.7% → 88.1%로 향상.
StateM은 실행 프로파일 변경 없이 runbook을 재사용 가능.

핵심 아이디어

StateM은 에이전트의 모델 가중치를 변경하지 않고, 실행 시스템을 확장하여 장기적 실행의 안정성과 정확도를 향상시키는 접근법이다. 이는 에이전트가 상태를 잃거나 절차를 건너뛰는 문제를 해결하기 위해, **durable states**, **phase-local context**, **checked transitions**, **recoverable runbooks**, **versioned procedural practices**를 도입한 런타임 환경이다.

이러한 구조는 에이전트와 사용자가 함께 상태와 절차를 검토할 수 있도록 하며, **postmortem 분석 결과를 실행 가능한 precondition으로 전환**함으로써 학습된 제어를 명시적이고 실행 가능한 형태로 구현한다.

기술적 접근법

**StateM 런타임**은 실행 주변의 상태 관리, 전이 검증, 절차 복구를 담당.
**runbook**은 GPT-5.6 Sol xhigh 기반으로 445번의 시도에서 95.3% 정확도 달성.
**DeepSeek-V4 Flash**는 38달러 미만의 적응 비용으로 82.7% → 88.1% 성능 향상.
**GPT-5.6 Sol xhigh** 기준 대비 StateM은 API 사용 비용을 15달러로 줄임.

주요 결과

**Terminal-Bench 2.1**에서 GPT-5.6 Sol xhigh 기반 StateM은 95.3% raw 정확도 달성.
GPT-5.6 Luna는 StateM 적용으로 76.7% → 85.4% (기준 84.9% 대비 +0.5%).
DeepSeek-V4 Flash는 82.7% → 88.1% (기준 대비 +5.4%).
BusinessBench에서 10.04 포인트의 성능 향상 보고.

의의 및 한계

StateM은 에이전트의 실행 시스템을 개선함으로써 모델 자체의 제한을 극복하는 새로운 접근법을 제시한다. 특히, **runbook 재사용**, **제어 제약의 명시화**, **비용 절감**이 학술적·실용적 가치를 높인다. 그러나, StateM은 특정 실행 구조를 가진 작업에만 일반화 가능하며, 모든 에이전트에 즉시 적용 가능한 것은 아님을 명시한다.

실용적 활용

StateM은 복잡한 작업 자동화, 고객 지원 시스템, 비즈니스 프로세스 관리 등에서 에이전트의 실행 안정성과 정확도를 향상시키는 데 활용 가능하다. 특히, **API 비용 절감**과 **제어 정책의 명시화**가 필요한 산업 분야에 적합하다.