StateAct: Program State, before Pixels, for Long-Horizon Computer-Use Agents

Computer-use agents are usually improved by strengthening perception: better models for reading a screenshot and choosing where to click. Yet a screenshot is only a lossy rendering of the underlying program state, e.g., the files, application backends, and DOM that hold the task data. Different states can produce the same pixels, while code can inspect and modify that state directly. StateAct is a code-first, multi-agent harness built around this distinction. Its main agent works directly with program state by using code, while a dedicated GUI subagent handles screenshot-and-click interaction on the few subgoals that need it, just 28 of 108 tasks and 1.1% of main-agent steps. The same direct access to program state also supports verification: an independent finish gate double-checks the saved result for structural failures, e.g., output that is missing, unsaved, or written to the wrong path. To stay on track over hundreds of steps, the main agent hands subgoals to fresh subagents, keeping its own context focused. On OSWorld 2.0, StateAct lifts Claude Opus 4.8 from 20.6% to 26.9% on binary success, and from 54.8% to 61.6% on partial success, at ~ 9x lower cost per task than the same model driven by screenshots alone; a code-only variant with no GUI subagent reaches only 45.9% partial, below that screenshot-based baseline's 54.8%. In general, grounding action, verification, and memory in state, what we call state-grounding, shifts the main bottleneck from perception toward reasoning: failures depend more on what the agent thinks than on what it sees.

한 줄 요약

StateAct는 GUI 대신 프로그램 상태를 직접 조작하는 코드 중심의 멀티에이전트 시스템으로, 장기적 컴퓨터 작업 성능을 향상시킨다.

핵심 기여도

**StateAct 아키텍처**: 주 에이전트는 프로그램 상태를 직접 조작하고, GUI 서브에이전트는 1.1%의 주 에이전트 스텝에서만 사용됨.
**성능 향상**: Claude Opus 4.8 모델에서 이진 성공률 20.6% → 26.9%, 부분 성공률 54.8% → 61.6%로 향상됨.
**비용 절감**: 스크린샷 기반 모델 대비 약 9배 저렴한 비용으로 동일 성과 달성.
**검증 메커니즘**: 독립적인 finish gate가 저장된 결과의 구조적 오류를 검증함.

핵심 아이디어

StateAct는 기존 컴퓨터 사용 에이전트가 주로 화면 인식을 강화하는 방식에서 벗어나, **프로그램 상태(program state)**를 직접 조작하는 코드 중심 접근법을 제안한다. 화면은 상태의 손실 있는 렌더링일 뿐이며, 같은 화면이 다른 상태를 나타낼 수 있다. 예를 들어, 스프레드시트의 셀에 수식이 있는지, 숫자가 있는지, 또는 행이 숨겨졌는지 등을 화면만으로는 구분할 수 없다.

이 접근법은 **state-grounding**이라는 개념을 기반으로 하며, 행동, 검증, 기억을 모두 상태에 기반시킨다. 주 에이전트는 `bash`, Python, 파일 편집기를 통해 상태를 조작하고, GUI 서브에이전트는 필요할 때만 화면 상호작용을 수행한다. 이는 장기적 작업에서 에이전트가 오래 집중할 수 있도록 돕는다.

기술적 접근법

**주 에이전트**: 프로그램 상태를 직접 조작 (bash, Python, 파일 편집기 사용).
**GUI 서브에이전트**: 108개 태스크 중 28개, 1.1%의 주 에이전트 스텝에서만 사용.
**Finish gate**: 저장된 결과의 구조적 오류 (예: 미저장, 잘못된 경로)를 독립적으로 검증.
**Context 관리**: 수백 단계에 걸쳐 주 에이전트의 컨텍스트를 유지하기 위해 fresh-context delegation, compaction, externalized plan 사용.
**모델**: Claude Opus 4.8 사용. 스크린샷 기반 대비 9배 저비용으로 동일 모델 사용.

주요 결과

**OSWorld 2.0 데이터셋**:
이진 성공률: 20.6% → 26.9% (Claude Opus 4.8 기준)
부분 성공률: 54.8% → 61.6%
스크린샷 기반 대비 9배 저비용
**코드만 사용한 버전**: 부분 성공률 45.9%로, 스크린샷 기반 기준 54.8%보다 낮음.

의의 및 한계

StateAct는 장기적 컴퓨터 작업에서 **인식**(perception)의 한계를 극복하고 **추론**(reasoning) 중심의 성능 향상을 가능하게 한다. 기존 에이전트는 화면 인식 오류가 누적되며, 최종 결과의 정확성을 판단하기 어려웠다. StateAct는 상태를 직접 조작하고 검증함으로써 이 문제를 완화한다.

하지만, 한계도 존재한다. finish gate는 구조적 오류는 잡을 수 있지만, **값의 정확성**(value correctness)은 판단하지 못한다. 예를 들어, 계산 오류나 논리적 오류는 finish gate가 잡지 못하며, 이는 추론 오류의 결과이다. 따라서, state-grounding은 정확성의 벽을 인식에서 추론으로 이동시키는 데 성공했지만, 벽 자체를 제거하지는 못한다.

실용적 활용

StateAct는 장기적 컴퓨터 작업이 필요한 산업, 예를 들어 자동화된 문서 작성, 데이터 수집, 소프트웨어 테스트 등에 적용 가능하다. 특히, 정확한 상태 관리와 검증이 필요한 시스템에서 유용하며, 기존 스크린샷 기반 에이전트 대비 저비용으로 동일 또는 더 높은 성능을 제공할 수 있다.