한 줄 요약
AgentLens는 코드 에이전트의 전체 실행 흐름을 평가하는 프로덕션 기반 벤치마크이다.
핵심 기여도
- AgentLens는 단순한 성공 여부가 아닌 전체 실행 흐름을 평가하는 벤치마크를 제시.
- 정형 검증과 LLM 기반 투어리 테이터 리뷰를 결합하여 평가의 해석 가능성을 높임.
- 자체 에이전트 버전 비교 및 제품 회귀 탐지를 위한 일일 평가 파이프라인에 활용.
- 오픈소스로 배포 (https://github.com/agent-lens/agent-lens-bench).
핵심 아이디어
기존 코드 에이전트 평가 방식은 작업 성공 여부만 확인하는 단일 지표에 의존한다. 그러나 실제 사용자는 에이전트의 실행 과정, 즉 지시사항 준수, 도구 사용, 오류 복구, 사용자와의 대화 등을 경험한다. AgentLens는 이러한 전체 실행 흐름을 평가하는 새로운 접근법을 제시한다. 정형 검증과 LLM이 생성한 투어리 테이터 리뷰를 결합함으로써, 각 실행에 대해 명확한 평가 설명을 제공한다. 이는 단순한 모델 순위 매기기 이상의 진단적 활용이 가능하게 한다.
기술적 접근법
- 정형 검증: 실행 결과에 대한 객관적 검증을 수행.
- LLM 작성 투어리 테이터 리뷰: 실행 과정을 설명하는 텍스트 리뷰 생성.
- Side-by-side 비교: 여러 실행 결과를 시각적으로 비교.
- 오픈소스로 배포되어 누구나 평가 파이프라인에 통합 가능.
주요 결과
- AgentLens는 단순한 성공 여부가 아닌 실행 흐름을 평가하여 모델 진단에 활용됨.
- 자체 에이전트 버전 간 차이를 비교하고 제품 회귀를 탐지하는 데 사용됨.
- 명시되지 않음.
의의 및 한계
AgentLens는 코드 에이전트 평가의 해석 가능성을 높이고, 모델 진단과 제품 품질 관리에 실용적으로 활용할 수 있는 기반을 제공한다. 그러나 평가 시 사용되는 LLM 리뷰의 질이 최종 평가 결과에 영향을 줄 수 있는 한계가 있다. 또한, 정형 검증이 불가능한 작업에 대해서는 제한된 평가가 이루어질 수 있다.
실용적 활용
AgentLens는 코드 에이전트의 개발 및 제품 품질 관리에 활용될 수 있다. 특히, 모델 버전 간 비교, 사용자 경험 분석, 제품 회귀 탐지 등에 유용하다.