VibeLifeBench: Can Your Life Agent Be Proactive and Persistent in a Living World?

Large language model (LLM) agents are increasingly deployed as personal assistants. Existing evaluations, however, mostly use short, self-contained requests in static environments. Everyday life assistance is different. A task runs for weeks rather than minutes. The world keeps changing while the agent is not being prompted. Many constraints are never stated outright. An agent that merely answers the request in front of it will fail at such a task. What is needed instead is an agent that stays proactive and consistent. It decides on its own when to act, when to ask, and when to stay silent. It notices changes that nobody announced. It keeps one plan coherent from the first day to the last. No current benchmark measures this. We introduce VibeLifeBench, a benchmark of 200 long-horizon tasks across ten everyday-life domains. Each task is a scripted multi-week timeline in a simulated world of 22 mock services. The world advances on its own clock, and many of its changes are silent, so only an agent that re-inspects the world discovers them. Every task is graded by fine-grained, weighted checks that read only what the agent actually left behind, covering the end state, the timeliness of its actions, and whether it upheld the implicit constraints. We evaluate seven frontier models. All of them score low, which shows how far current agents are from assisting with real life. We will open-source all tasks, environments, and the evaluation framework.

한 줄 요약

VibeLifeBench는 일상 생활 도메인에서 주도적이고 지속적인 대리인의 능력을 평가하기 위한 200개의 장기 태스크 기반 벤치마크이다.

핵심 기여도

200개의 장기 태스크로 구성된 VibeLifeBench를 제안 (10개 도메인, 20개씩).
22개의 모의 서비스를 기반으로 하는 독립적으로 변화하는 시뮬레이션 환경 구축.
12,261개의 세부 점검 항목을 통해 주도성, 동적 세계 적응, 장기 일관성 평가.
7개의 최신 모델 평가 결과, 평균 점수가 낮아 현재 대리인의 한계를 드러냄.

핵심 아이디어

VibeLifeBench는 기존 벤치마크가 간단하고 정적 환경에서 단기 작업을 중심으로 평가하는 반면, 실제 일상 생활에서는 주도적이고 지속적인 행동이 필요하다는 점을 반영하여 설계되었다. 예를 들어, 여행 계획을 수주일부터 종료일까지 일관되게 유지하면서 예약 변경, 날씨 변화, 예산 제약 등을 자동으로 감지하고 조정해야 한다. 이는 단순히 명령을 수행하는 대리인을 넘어, 환경 변화를 자발적으로 인식하고 계획을 조정하는 능력을 평가하는 데 목적이 있다. VibeLifeBench는 이러한 능력을 세 가지 핵심 속성—주도성(proactivity), 동적 세계 적응(living-world adaptation), 장기 일관성(long-horizon coherence)—으로 정의하고, 이를 구체적인 시뮬레이션 태스크와 점검 기준으로 측정한다.

기술적 접근법

**VibeLifeBench**: 200개의 장기 태스크, 10개 도메인 (예: 여행, 임대 분쟁, 리모델링 등), 22개의 모의 서비스 백엔드, 288개의 툴 인터페이스.
**Terrarium**: 멀티턴 평가 인프라. 각 태스크는 단계별 실행되며, 모의 서비스, 체커, 대리인을 격리된 샌드박스에서 실행.
**openclaw 허네스**: 모델을 강한 추론 설정에서 실행하며, 모든 모델이 동일한 툴-호출 프레임워크를 사용.
**점검 기준**: 12,261개의 세부 점검 항목, 태스크당 평균 58개. 최종 상태, 행동 타이밍, 암묵적 제약 준수를 평가.
**실험 설정**: 7개 모델 (Claude Opus 5, GPT-5.5, Gemini 3.5 Flash 등)을 평가. 각 태스크는 3회 실행, avg@3, max@3, min@3, 표준편차를 기록.

주요 결과

7개의 최신 모델 모두 낮은 점수를 기록. 예를 들어, 평균 점수는 대부분 40% 미만.
**Travel 도메인**: 예산 제약을 지키지 못한 경우가 65% 이상.
**Rental Dispute 도메인**: 중요한 마감일을 놓친 경우가 50% 이상.
**Renovation 도메인**: 계획 일관성을 유지하지 못한 경우가 70% 이상.
**모든 도메인**: 암묵적 제약을 인식하지 못하거나, 환경 변화를 반영하지 못한 경우가 다수.

의의 및 한계

VibeLifeBench는 일상 생활 도메인에서의 대리인 평가 기준을 명확히 정의하고, 기존 벤치마크가 간과한 주도성, 동적 세계 적응, 장기 일관성을 측정하는 첫 시도이다. 특히, 22개의 모의 서비스와 200개의 장기 태스크를 통해 실제 생활 환경을 유사하게 재현하고, 12,261개의 세부 점검 항목을 통해 정밀한 평가가 가능하다는 점에서 학술적 의의가 크다. 그러나 일부 태스크는 실제 세계보다 단순화되어 있을 수 있으며, 사용자와의 상호작용을 고려한 평가가 부족한 점이 한계로 지적된다.

실용적 활용

VibeLifeBench는 가정용 AI 개인 비서, 건강 관리 대리인, 재정 계획 도구 등 일상 생활 지원 시스템 개발에 활용될 수 있다. 특히, 장기 계획을 유지하면서 환경 변화를 자동으로 반영하는 능력을 가진 대리인의 개발을 촉진할 수 있다.