reinforcement-learning llm-evaluation long-horizon swe-bench model-distillation trajectory-analysis taste-bench agent-decision-making
Abstract
LLM agents increasingly work on long-horizon tasks, and the decisions they make along the way, such as which hypothesis to test or which implementation to build on, determine the outcome of the whole run. Making these decisions well is becoming a key capability for both engineering and research agents. We refer to the ability to make good long-horizon decisions as the taste of an agent. While existing benchmarks measure the end-to-end success of agents on long-horizon tasks, none of them measures the taste of an agent. To address this problem, we build Taste-Bench, a benchmark of taste questions constructed automatically from trajectories that agents produced in engineering and research tasks. Each question presents a decision fork, a point in a trajectory where multiple directions are available and one of them leads to a better outcome, and the evaluated model chooses among these directions without seeing what happens after the fork. We mine these forks automatically from parallel attempts at the same task and from detours inside a single trajectory, without needing human annotation. We evaluate frontier models on Taste-Bench and find that the best model answers only 59.7% of the questions correctly. We further find that forks whose deciding evidence appears later in the trajectory are much harder for every model, and that a larger reasoning budget does not improve the accuracy. Finally, we show that taste can be trained. We distill the judgment of a teacher that has seen the outcome into a student model, and the student makes better decisions on unseen tasks and improves end-to-end success on held-out SWE-bench Pro tasks.
한국어 요약
한 줄 요약
Taste-Bench라는 새로운 벤치마크를 제안하여 LLM 에이전트의 장기적 판단력(‘taste’)을 측정하고 훈련한다.
핵심 기여도
- Taste-Bench라는 자동 생성된 장기적 판단력 측정 벤치마크를 제안 (502개 질문 포함).
- 기존 최고 모델이 59.7%의 정확도를 기록하며, 후행 증거가 늦게 나타나는 경우 정확도가 급격히 감소함을 밝힘.
- ‘taste’를 훈련할 수 있음을 보여주며, 지도 모델의 판단을 학습한 학습 모델이 새로운 작업에서 성능 향상.
- SWE-bench Pro 작업에서 end-to-end 성공률 개선을 실증.
핵심 아이디어
LLM 에이전트가 장기적 작업에서 좋은 결정을 내리는 능력, 즉 ‘taste’는 기존 벤치마크에서 측정되지 않았다. 이 연구는 작업 내에서 여러 방향이 존재하는 ‘decision fork’를 자동으로 추출하여, 모델이 미래 결과를 알지 못한 상태에서 더 나은 선택을 할 수 있는지 평가하는 방식을 제안한다. 이는 병렬 작업에서의 분기점과 단일 작업 내의 오류 수정 경로에서 자동 추출되며, 인간의 라벨링 없이도 가능하다. 핵심 통찰은 후행 결과가 판단의 근거가 될 수 있다는 점이며, 이를 통해 ‘taste’를 측정하고 훈련할 수 있다는 점이다.
기술적 접근법
- **Taste-Bench**: 502개의 decision fork 질문을 포함한 벤치마크. 질문은 각각의 작업, 분기점까지의 경로, 그리고 두 가지 선택지로 구성됨.
- **Decision fork 추출**: 병렬 작업(Parallel trajectories)과 단일 작업 내의 오류 수정(Detour trajectories)에서 자동 추출.
- **평가 프로토콜**: 각 질문은 결정적 순서와 반대 순서로 두 번 평가되며, 두 번 모두 정답일 경우에만 정확도에 반영.
- **taste 훈련**: 지도 모델(teacher)이 결과를 보고 판단한 후, 학습 모델(student)이 이를 학습하여 새로운 작업에서 판단력을 향상.
주요 결과
- 최고 성능 모델이 Taste-Bench에서 59.7%의 정확도를 기록.
- 후행 증거가 늦게 나타나는 decision fork는 모든 모델에서 훨씬 어려움 (예: detour engineering에서는 35.9%).
- 더 큰 추론 예산은 정확도 향상에 기여하지 않음.
- 학습 모델은 SWE-bench Pro 작업에서 end-to-end 성공률을 개선함.
의의 및 한계
- 이 연구는 LLM 에이전트의 장기적 판단력을 체계적으로 측정하고 훈련할 수 있는 새로운 방법론을 제시하며, 연구 및 엔지니어링 분야에서의 실용적 활용 가능성을 제시.
- 그러나 모든 decision fork가 동일한 중요도를 가지는 것은 아니며, 일부 분기점은 인간의 도메인 지식 없이 판단하기 어려울 수 있음. 또한, 벤치마크는 현재 502개의 질문에 제한되어 있어 확장 가능성에 대한 추가 연구가 필요.
실용적 활용
Taste-Bench는 연구 및 소프트웨어 엔지니어링 분야에서 LLM 에이전트의 장기적 판단력을 평가하고 훈련하는 데 활용 가능하다. 특히, SWE-bench Pro와 같은 실제 작업에서 성능 향상이 입증되었기 때문에, 자동화된 소프트웨어 개발 및 연구 프로젝트에서 유용하게 사용될 수 있다.