PILOT in the Loop: Live Self-Improvement for Long-Horizon Agents

Long-horizon agent runs generate experience that can improve both the current run and future work. Most self-improvement methods process this experience only after execution ends, so they cannot redirect the active run or immediately apply and validate lessons learned from it. We argue that self-improvement should instead be live, using emerging experience both to redirect the active run and to update the persistent harness. Existing agent architectures do not fully support this goal. Single-agent self-correction combines task execution and trajectory assessment within one context, while subagent delegation separates execution but typically cannot redirect an active subagent. We present PILOT, a supervisor-worker harness for live self-improvement through two coupled mechanisms: (1) live steering lets a separate supervisor redirect or abort the active worker during execution; and (2) live self-evolution distils procedures and failure modes revealed during execution into reusable skills and memory. Across two frozen backbones and three benchmarks, PILOT ranks first in five of six configurations. On Terminal-Bench 2.0, PILOT outperforms counterpart harnesses by up to 9.8 percentage points. In the self-improvement setting, PILOT gains 14.6 points with GLM-5.1 and 12.4 points with Kimi-K2.6. Mean output tokens fall by 42.9% and 47.4%, while successful evaluations per million output tokens rise by 110.3% and 134.0%, respectively.

한 줄 요약

PILOT은 실시간 자기 개선을 통해 장기적 작업 성능을 향상시키는 감독자-작업자 구조의 에이전트 허네스이다.

핵심 기여도

실시간 자기 개선(live self-improvement)을 폐쇄 루프 형태로 정의하고, 감독자-작업자 구조를 제안함.
PILOT은 실시간 조정(live steering)과 실시간 자기 진화(live self-evolution) 두 가지 메커니즘을 결합함.
Terminal-Bench 2.0에서 기존 허네스 대비 최대 9.8% 포인트 개선, 자기 개선 설정에서 GLM-5.1 기반으로 14.6% 포인트 향상.
평균 출력 토큰 수가 42.9% 감소하면서 성공 평가 수가 110.3% 증가함.

핵심 아이디어

기존 에이전트는 작업 실행 후에야 자기 개선을 수행하므로, 실시간으로 실행 중인 작업을 수정하거나 즉각적으로 학습을 적용할 수 없다. PILOT은 감독자(supervisor)와 작업자(worker)를 분리하여, 작업 실행 중에도 실시간으로 조정(live steering)과 자기 진화(live self-evolution)를 수행할 수 있도록 설계되었다. 감독자는 작업자의 질문, 오류, 비활동 알림을 실시간으로 받아 실행 방향을 수정하거나 작업을 중단할 수 있다. 작업자는 실행 세부 사항을 처리하고, 감독자는 목표와 최근 이벤트에 집중하며, 실행 중인 작업을 통해 유용한 지식을 허네스에 저장한다.

기술적 접근법

**PILOT 구조**: 감독자-작업자 허네스. 감독자는 작업 실행 중 실시간으로 조정(live steering)을 수행하며, 작업자는 실행 세부 사항을 처리.
**Live steering**: 감독자가 작업 실행 중에 작업 방향을 수정하거나 중단할 수 있는 메커니즘.
**Live self-evolution**: 실행 중 발견된 절차와 실패 모드를 허네스에 재사용 가능한 기술과 메모리로 정제.
**Frozen backbones**: GLM-5.1, Kimi-K2.6 두 가지 모델 사용.
**Benchmark**: Terminal-Bench 2.0, 소프트웨어 엔지니어링 벤치마크 등 3개 사용.

주요 결과

**Terminal-Bench 2.0**: 기존 허네스 대비 최대 9.8% 포인트 개선.
**자기 개선 설정**: GLM-5.1 기반으로 14.6% 포인트, Kimi-K2.6 기반으로 12.4% 포인트 향상.
**토큰 효율성**: 평균 출력 토큰 수가 각각 42.9%와 47.4% 감소.
**성공 평가 수**: 1백만 토큰당 성공 평가 수가 110.3%와 134.0% 증가.
**재사용 기술 수**: 각각 21개와 31개의 기술이 추가됨.

의의 및 한계

PILOT은 장기적 작업에서 실시간 자기 개선을 가능하게 하며, 작업 실행 중에도 지속적인 학습과 수정을 통해 효율성을 높인다. 특히, 작업 실행과 자기 개선을 분리함으로써 실행 세부 사항이 자기 진단에 방해가 되는 문제를 해결한다. 그러나 PILOT은 두 개의 frozen backbones만 사용했으며, 더 다양한 모델이나 동적 환경에서의 성능은 명시되지 않음. 또한, 감독자의 판단이 작업 성공에 직접적으로 영향을 미치므로, 감독자의 판단 오류가 전체 성능에 영향을 줄 수 있는 한계가 있다.

실용적 활용

PILOT은 장기적 작업이 필요한 산업, 예를 들어 소프트웨어 개발, 자동화된 시스템 운영, 복잡한 문제 해결 등에서 실시간 자기 개선을 통해 작업 효율과 정확도를 높일 수 있다. 특히, 반복적 작업에서 학습한 기술을 재사용함으로써 비용을 절감하고 성능을 지속적으로 향상시킬 수 있다.