Activity Frames: Deterministic Screen-Activity Compilation for Agent Memory and Replay

Computer-use agents pay full frontier inference to re-derive routines their user has already performed, because an agent's memory today records what the user said, not what the user did. We compile passively captured screen activity into agent memory with a deterministic, zero-model pipeline: it segments a local capture stream into typed activity frames, bounded episodes carrying application, site, timing, input volume, and evidence pointers back to the raw rows, with no model in the loop, so the output is byte-identical, cacheable, and mechanically auditable. On one professional's single-user corpus of 128,756 frames over 51 active days, the compiler reduces a day of raw capture to a prompt-ready context block 86x smaller in 68 ms, and an agent reading that block answers questions about the day at 98.4% accuracy (Wilson 95% CI 91.7-99.7%) against an independent oracle, versus 66-80% for an LLM summary of the same capture, a mid-tier model reading the block matching a frontier one. The same compiler doubles as a demand-side cost instrument. Read off passive, pre-delegation human activity rather than agent rollouts, it supplies two parameters that agent-cost models assume but, to our knowledge, have not measured: the Routine Overhead Ratio R and the routine recurrence h. We report first values of R, a modeled upper bound, at 60-343x, and a delegable recurrence of 9.0% in-sample and 7.7% out-of-sample, for a realistic all-fleet token ceiling near 8%; a compiled routine replays deterministically with the model out of the loop, demonstrated live at zero model tokens on a guard-matched hit. Schema, compiler, and evaluation harness are open.

한 줄 요약

"Activity Frames"는 사용자의 스크린 활동을 결정론적 컴파일로 변환하여 에이전트 메모리의 신뢰성과 효율성을 높인다.

핵심 기여도

두 단계 스키마(Two-tier schema)로 측정된 사실과 추론을 분리, 커버리지 간극을 문서에 명시.
결정론적 컴파일 규칙(예: dwell crediting, flicker merging)을 제시, 학습 모델 없이 처리.
61일 분량의 실시간 데이터에서 86배의 토큰 감소와 68ms의 컴파일 시간 달성.
Routine Overhead Ratio (R)와 routine recurrence (h)를 측정, 에이전트 비용 모델에 적용.

핵심 아이디어

현재 에이전트 메모리는 사용자가 말한 내용만 기록하고, 사용자가 실제로 한 행동은 무시된다. 이 논문은 스크린 캡처 스트림을 "activity frames"라는 구조화된 에피소드로 변환함으로써, 결정론적이고 재현 가능한 메모리 구조를 제안한다. 이 프레임은 애플리케이션, 사이트, 시간, 입력량, 원본 데이터 포인터 등을 포함하며, 모델 없이 처리되어 동일한 입력이면 동일한 출력을 보장한다. 이는 메모리의 캐시 가능성과 감사 가능성, 신뢰도를 높인다. 또한, 추론은 별도의 스키마 계층에서 이름공간, 신뢰도 태그, 증거 링크와 함께 제한적으로 처리된다.

기술적 접근법

**Two-tier schema**: 측정된 사실과 추론을 분리.
**Deterministic compilation rules**:
Dwell crediting: 사용자의 주의 시간을 계산.
Flicker merging: 짧은 창 전환을 병합.
Nearest-frame attribution: 이벤트를 가장 가까운 프레임에 할당.
Coordinate-based click resolution: 클릭 좌표를 기반으로 정확도 향상.
**Model Context Protocol (MCP) server**: 6개의 도구를 제공하는 서버.
**Python 기반 오픈 소스 컴파일러**: 종속성 없이 로컬 캡처 엔진 포함.

주요 결과

1일 분량의 캡처 데이터를 86배 더 작게 압축, 68ms 컴파일 시간.
에이전트가 컴파일된 블록으로 질문에 98.4% 정확도로 답변 (Wilson 95% CI 91.7-99.7%).
LLM 요약 대비 66-80% 정확도로, 컴파일 블록이 훨씬 우수.
중간 수준 모델이 컴파일 블록을 사용하면 최첨단 모델과 유사한 성능 달성.
Routine Overhead Ratio (R)는 60-343배, routine recurrence (h)는 9.0% (in-sample), 7.7% (out-of-sample).

의의 및 한계

**의의**: 결정론적 컴파일은 메모리 재생산, 캐시, 감사 가능성, 신뢰도를 동시에 달성.
**한계**: 단일 사용자 데이터 기반으로, 다중 사용자 환경에서의 일반화는 추가 연구 필요.
**학술적 가치**: LLM 에이전트 메모리의 새로운 기준 제시.
**실용적 가치**: 에이전트 비용 모델에 R과 h를 측정 가능하게 함.

실용적 활용

개인 생산성 도구에서 사용자의 일일 활동을 정확히 추적하고 분석.
기업의 협업 플랫폼에서 팀 활동 패턴 분석 및 리소스 할당 최적화.
에이전트 기반 시스템에서 메모리 관리 및 비용 예측에 활용 가능.