OneDayAgent: Towards a Long-Horizon Harness for Autonomous Agents

LLM agents are increasingly applied to open-ended everyday requests that span work, study, and life. These tasks are long-horizon, cross-environment, and multimodal, forcing the agent to preserve goals and constraints across many steps while navigating heterogeneous tools and attachments. While prior work has addressed individual failure modes such as goals drift, states loss, and context overflow, whether a single harness can manage them jointly and remain effective across backends has received less study. We present OneDayAgent, a long-horizon harness for autonomous agents. OneDayAgent turns an open-ended request into a managed execution process that decomposes tasks into bounded subtasks, maintains execution memory under context pressure, and verifies and repairs the final deliverable. We evaluate OneDayAgent on AgentIF-OneDay across 104 tasks. With the GLM-5.2 backend, OneDayAgent sets a new state of the art with an overall score of 0.821. The same harness runs across five backend LLMs from three model families, indicating the harness generalizes across backends without tuning, even as different models induce distinct execution styles under the same workflow.

한 줄 요약

OneDayAgent는 GLM-5.2 백엔드에서 AgentIF-OneDay 데이터셋에서 0.821의 최고 성능을 달성한 장기적 자율 에이전트 허네스이다.

핵심 기여도

OneDayAgent는 작업 분해, 실행 메모리, 최종 결과 검증을 통합한 장기적 허네스를 설계함.
AgentIF-OneDay 데이터셋에서 GLM-5.2 백엔드로 0.821의 최고 성능을 달성함.
동일한 허네스가 세 가지 모델 패밀리에서 5개의 다른 백엔드 LLM에서 실행됨.
작업 분해 모듈(DECOMP)과 검증 모듈(VERIFY)의 효율성과 비용 차이를 실험적으로 분석함.

핵심 아이디어

기존 연구는 목표 드리프트, 상태 손실, 컨텍스트 오버플로우와 같은 개별 실패 모드를 개별적으로 해결했으나, OneDayAgent는 이들을 통합적으로 관리하는 허네스를 제안한다. 이 허네스는 작업을 경계가 있는 하위 작업으로 분해하고, 컨텍스트 압력 하에서 실행 메모리를 유지하며, 최종 결과물을 검증 및 복구한다. 특히, 작업 분해는 복잡한 요청을 관리 가능한 단위로 나누고, 실행 메모리는 중간 상태를 압축하여 유지하며, 검증 모듈은 최종 결과가 원래 의도와 일치하는지 확인한다. 이는 단일 백엔드에 의존하지 않고, 다양한 LLM에서 동일한 허네스를 사용할 수 있음을 보여준다.

기술적 접근법

**작업 분해 (DECOMP)**: 요청을 여러 경계가 있는 하위 작업으로 분할.
**실행 메모리 (Execution Memory)**: 컨텍스트 압력 하에서도 중간 상태를 압축 및 체크포인트로 유지.
**검증 및 복구 (VERIFY)**: 최종 결과물이 원래 의도와 일치하는지 확인하고 필요 시 수정.
**실험 환경**: AgentIF-OneDay 데이터셋, GLM-5.2 백엔드, 5개의 다른 LLM 백엔드에서 테스트.
**하이퍼파라미터**: 모듈별 활성화/비활성화를 통해 효율성과 성능의 균형을 실험적으로 분석.

주요 결과

AgentIF-OneDay 데이터셋에서 GLM-5.2 백엔드로 0.821의 전체 점수를 달성함 (기존 최고 성능).
작업 분해 모듈(DECOMP)만 활성화 시 0.8039, 검증 모듈(VERIFY)만 활성화 시 0.8044, 두 모듈 모두 활성화 시 0.821 (베이스라인 대비 +4.9% 개선).
VERIFY 모듈은 DIRECT 대비 2.2분 추가 소요되지만, DECOMP 모듈은 10.6분 추가 소요됨.
5개의 다른 백엔드 LLM에서 동일한 허네스가 실행됨.

의의 및 한계

OneDayAgent는 장기적 작업을 처리하는 자율 에이전트의 신뢰성과 효율성을 동시에 향상시킨다. 특히, 다양한 백엔드 LLM에서 동일한 허네스를 사용할 수 있다는 점에서 실용적 가치가 높다. 그러나 실험은 AgentIF-OneDay 데이터셋에 국한되었으며, 보안상 워크스페이스 격리 없이 실행되므로 보안 취약점이 있을 수 있다. 또한, 모델별 실행 스타일 차이가 존재하므로, 허네스의 일반화 가능성은 추가 연구가 필요하다.

실용적 활용

OneDayAgent는 복잡한 일상 업무, 연구 프로젝트, 개인화된 보조 서비스 등에서 자율 에이전트의 신뢰성과 효율성을 향상시키는 데 활용 가능하다. 특히, 다양한 LLM을 사용하는 환경에서 허네스의 일반화 능력은 개발자와 연구자에게 유용한 도구가 될 수 있다.