한 줄 요약
CLE는 120개의 다단계 작업으로 구성된 대규모 벤치마크로, LLM 에이전트의 경험 기반 지속 학습 능력을 평가한다.
핵심 기여도
- CLE 벤치마크는 50명 이상의 전문가가 개발한 120개의 5단계 작업으로 구성되어 있으며, 89개 직무, 12개 직업 분야를 커버한다.
- 17개의 모델-하네스 설정에서 평가한 결과, 피드백과 수정 기회가 제공되었음에도 최고 성능 시스템이 47.67%의 단계만 완료함을 보여준다.
- 23,981개의 실제 입력 파일, 19개의 상태 기반 모의 애플리케이션, 16,125개의 인간 검증 기준을 포함하여 실무적 환경을 구현.
- 평가 에이전트가 96.86%의 루브릭 항목 수준에서 인간 평가와 일치함을 보여, 신뢰성 확보.
핵심 아이디어
기존의 LLM 평가가 개별 작업 성능에 집중하는 반면, CLE는 경험을 통해 지속적으로 개선되는 능력을 평가하는 데 초점을 맞춘다. 이는 LLM 에이전트가 시간 경과에 따라 지식을 축적하고 이를 재사용하는 방식을 측정하는 것을 목표로 한다. CLE는 각 작업이 5단계 래더로 구성되며, 이전 단계에서의 경험을 다음 단계에 반영하도록 설계되었다. 예를 들어, 도구 사용 실패 후 개선된 절차를 재사용하는 방식이 평가된다. 또한, 작업 간 지속적인 상태를 유지하는 19개의 모의 애플리케이션과 23,981개의 실제 입력 파일을 통해 실제 업무 흐름을 시뮬레이션한다.
기술적 접근법
- **CLE 벤치마크 구성**: 120개의 5단계 작업 래더, 89개 직무, 12개 직업 분야, 600개 단계.
- **입력 자료**: 23,981개의 실제 입력 파일, 19개의 상태 기반 모의 애플리케이션, 1,024개 API.
- **평가 시스템**: 16,125개의 인간 검증 기준을 포함한 루브릭 기반 평가.
- **실험 설정**: 17개의 모델-하네스 설정, 4개의 에이전트 하네스, 모델 파라미터 고정.
- **실험 시나리오**: Trial 1 (K=1)은 단일 제출, Trial 2 (K=2)는 실패 시 진단 피드백과 수정 기회 제공.
- **평가 에이전트**: DeepSeek V4 Flash 기반, 96.86%의 루브릭 항목 수준에서 인간 평가와 일치.
주요 결과
- 17개 설정에서 Trial 2 (피드백 + 수정)가 Trial 1 대비 중간 완료율 5.3%포인트 개선.
- 최고 성능 시스템인 Claude Code with Opus 5가 47.67%의 단계만 완료.
- GPT-5.6-Sol과 GPT-5.6-Terra는 각각 33.17%의 단계만 완료.
- 5단계 모두 완료한 작업은 23.3%에 불과, 지속 학습의 어려움을 드러냄.
의의 및 한계
CLE는 경험 기반 지속 학습을 평가하는 첫 대규모 벤치마크로, LLM 에이전트의 실무적 성능을 측정하는 데 기여한다. 특히, 인간 검증 기준과 상태 기반 환경을 통해 실제 업무 흐름을 반영한 평가를 가능하게 한다. 그러나 모델 파라미터는 고정되어 있어, 파인튜닝이나 강화 학습을 통한 학습을 평가하지 못한다는 한계가 있다. 또한, 최고 성능 시스템조차 5단계 작업을 완료하는 데 어려움을 겪어, 기존 LLM의 지속 학습 능력이 여전히 제한적임을 보여준다.
실용적 활용
CLE는 LLM 에이전트의 지속 학습 능력을 강화하기 위한 사후 학습 데이터셋으로 활용 가능하다. 특히, 기업의 자동화 시스템, 협업 플랫폼, 고객 지원 에이전트 등에서 경험을 기반으로 지속적으로 개선하는 에이전트 개발에 기여할 수 있다.