Claw-Anything: Benchmarking Always-On Personal Assistants with Broader Access to User's Digital World

Large language model agents are increasingly envisioned as always-on personal assistants with access to anything relevant in the user's digital world. Yet current systems operate over only narrow slices of that world, limiting context-sensitive reasoning and effective assistance. Existing benchmarks similarly provide only partial user state and therefore fail to capture performance in such a broad, always-on setting. To address this gap, we introduce Claw-Anything, a benchmark that expands agent context along three dimensions: long-horizon activity histories, interdependent backend services, and integrated GUI and CLI interaction across multiple devices. To instantiate this setting, we simulate months of user activity through multi-round event injection, producing complex world states and realistic noise, including irrelevant events and conflicting signals. Agents must reason over rich contextual environments while remaining robust to such noise. This expanded scope also enables the evaluation of proactive assistance, requiring agents to anticipate user needs and deliver timely recommendations. Experiments show that GPT-5.5 achieves only 34.5% pass@1, substantially below prior benchmarks, underscoring a gap between current agent capabilities and the demands of always-on personal assistance. Alongside the benchmark, we release an automated data-generation pipeline that yields 2,000 training environments and improves the base model by 23.7%, demonstrating its utility of scalable data infrastructure.

📋 한 줄 요약

**[Personal Assistant 벤치 / Always-On Agents]** Claw-Anything이 long-horizon activity·interdependent backend service·multi-device GUI+CLI를 결합한 always-on assistant 벤치 제시, GPT-5.5도 pass@1 34.5%, 2,000 학습 환경으로 base 모델 23.7% 개선.

🎯 핵심 기여도

LLM agent가 사용자 digital world의 모든 관련 정보에 접근하는 always-on personal assistant로 envision되지만 현 시스템은 그 world의 좁은 slice만 처리해 context-sensitive reasoning과 효과적 보조가 제한된다는 진단.
기존 벤치마크가 유사하게 부분 사용자 state만 제공해 broad·always-on 환경의 성능을 capture 못함을 지적.
Claw-Anything 도입 — agent context를 3 차원으로 확장: long-horizon activity history, interdependent backend service, multi-device의 GUI·CLI 통합 interaction.
Multi-round event injection으로 수개월 사용자 활동 시뮬레이트 — 복잡 world state와 irrelevant event·conflicting signal 포함의 realistic noise 생성, agent는 rich contextual environment에서 reasoning하면서 noise에 robust해야 함, proactive assistance 평가도 가능.

💡 핵심 아이디어

실제 always-on personal assistant 평가는 단일 slice가 아닌 long-horizon activity·interdependent service·multi-device GUI+CLI를 모두 포함하고 irrelevant·conflicting noise까지 주입하는 환경이 필요하며, 이 broad scope가 현재 frontier agent의 큰 capability gap을 노출한다.

🔬 기술적 접근법

**방법론**: Claw-Anything — 3차원 context 확장 + multi-round event injection 시뮬레이션.
**핵심 기법**: (1) Long-horizon activity history(수개월 분량), (2) Interdependent backend service 통합, (3) Multi-device GUI + CLI interaction, (4) Multi-round event injection으로 irrelevant·conflicting noise 포함 시뮬레이트, (5) Proactive assistance 평가 — agent가 user need 예측·timely recommendation 제공해야 함, 자동 데이터 생성 파이프라인으로 2,000 학습 환경 산출.

📊 주요 결과

GPT-5.5의 pass@1 34.5% — 기존 벤치 대비 substantially 낮음, current agent와 always-on assistance 요구 간 격차 명시.
자동 데이터 생성 파이프라인이 2,000 학습 환경 산출.
같은 파이프라인 데이터로 base 모델을 23.7% 개선 — 확장 가능 데이터 인프라의 utility 입증.

💭 의의 및 한계

**의의**: Always-on personal assistant 평가의 새 표준 정립, 3차원 context 확장으로 실세계에 더 가까운 벤치, GPT-5.5조차 34.5%로 frontier capability gap 노출, 학습 환경 2,000개와 23.7% 개선의 추가 가치. **한계**: 시뮬레이션 충실도와 실 사용자 데이터의 격차, 200 시나리오 수준의 cognitive profile 다양성 한계, irrelevant·conflicting noise의 분포 설계 의존성.

🚀 실용적 활용

Always-on AI 비서 평가 표준.
Personal assistant agent 학습 데이터 합성.
Proactive recommendation·multi-device agent 개발.