한 줄 요약
Ouroboros는 자체 개선을 통해 코딩 에이전트 성능을 향상시키는 시스템으로, Terminal-Bench 2.1에서 86.74%를 달성했다.
핵심 기여도
- **Recursive free evolution**과 **experience-driven core evolution** 두 가지 모드를 통해 시스템 스스로 개선.
- **Terminal-Bench 2.1**에서 Opus 5 실행으로 86.74% (트레이잭토리 감사 후 86.97%) 달성, 최고 기록.
- **OSWorld-Verified**에서 90.69% 기록, 기존 최고 점수 초과.
- **CL-Bench**에서 5회 롤아웃으로 정규화된 보상 0.2301 달성, 신기록 수립.
핵심 아이디어
Ouroboros는 기존 에이전트 허네스가 고정된 반면, 스스로 개선하는 허네스를 제시한다. 핵심 아이디어는 **"자체 개선을 자체 작업으로 삼는 시스템"**이다. Recursive free evolution은 개선을 작업으로 간주하여, 한 번의 개선이 다음 개선을 트리거한다. Experience-driven core evolution은 실제 작업과 사용자 피드백을 통해 버그와 비효율성을 파악하고, 이를 리뷰된 커밋으로 반영한다. 이는 **context assembly**, **tool invocation**, **prompt engineering** 등 핵심 모듈의 지속적 개선을 가능하게 한다.
기술적 접근법
- **Recursive free evolution**: 개선 작업을 자체적으로 생성하고 실행.
- **Experience-driven core evolution**: 작업 수행 중 발생한 오류와 피드백을 기반으로 리뷰된 커밋 생성.
- **Opus 5** 모델 사용.
- **Terminal-Bench 2.1**, **OSWorld-Verified**, **CL-Bench** 벤치마크에서 성능 평가.
- **Hope**는 161일 동안 7개의 인터페이스에서 자유 진화 실험을 진행한 라이브 에이전트.
- **Frozen system snapshots**를 사용한 벤치마크와 별도로, **live evolution**이 이루어짐.
주요 결과
- **Terminal-Bench 2.1**에서 Opus 5 실행으로 86.74% (트레이잭토리 감사 후 86.97%) 달성.
- **OSWorld-Verified**에서 90.69% 기록, 기존 최고 점수를 1.69%포인트 상회.
- **CL-Bench**에서 5회 롤아웃으로 정규화된 보상 0.2301 달성, 기존 최고 기록 경신.
- **Hope**는 161일 동안 라이브 진화를 유지하며, 사용자 피드백을 기반으로 자체 개선.
의의 및 한계
Ouroboros는 에이전트 허네스가 고정된 정책이 아닌, **진화하는 객체**로 설계될 수 있음을 보여준다. 특히, **리뷰된 커밋**을 통해 안전하면서도 지속적인 개선이 가능하다는 점에서 학술적·실용적 가치가 있다. 그러나 **자체 코드 재작성**과 **모델 API 선택**은 운영 안전성 문제를 야기할 수 있으며, 이에 대한 **권한 경계 설정**이 필수적이다. 또한, **Benchmark campaigns**는 고정된 시스템 스냅샷을 사용하지만, **Hope**는 별도 라인리지에서 라이브 진화를 진행하므로, 장기적 안정성 검증이 필요하다.
실용적 활용
Ouroboros는 **자율 시스템 개발**, **사용자 피드백 기반의 지속적 개선**, **AI 에이전트 운영 안전성 설계** 등에 활용 가능하다. 특히, **소프트웨어 개발**, **고객 지원**, **자동화 작업** 분야에서 라이브 진화를 통해 지속적인 성능 향상과 안정성을 유지할 수 있다.