The Handoff Tax: Continuing Non-Native Trajectories in LLM Agents

Coding agents perform long-running tasks spanning dozens of model calls, tool uses, and code edits. As these runs unfold, users face a practical cost-quality trade-off: escalating to a stronger model when a cheaper one struggles, or downshifting once the hard reasoning is complete. Each switch requires the receiver to continue a non-native trajectory produced by another model. We study how this handoff affects quality and cost, and how varying the trajectory information inherited by the receiver changes the outcome. Using pairs of low-cost, low-capability (LC) and high-cost, high-capability (HC) models from the Claude and GPT families, we vary handoff direction, timing, and interface, comparing full-trajectory transfer, compaction, and trajectory removal while preserving the repository state. Across both model families, full-trajectory escalation recovers less than half of the LC-to-HC quality gap while incurring a substantial cost premium. We term this cost-quality penalty the handoff tax. By contrast, downshift offers a favorable cost-quality point. Interestingly, the preferred interface also reverses with direction: reducing LC-model trajectory information improves escalation quality, whereas removing the HC-model trajectory reduces downshift quality.

한 줄 요약

LLM 에이전트에서 모델 전환 시 발생하는 비용-품질 저하 현상을 'Handoff Tax'로 명명하고, Claude와 GPT 모델을 통해 실험적으로 분석한다.

핵심 기여도

Claude와 GPT 모델 쌍을 사용해 Low-Cost/Low-Capability (LC)와 High-Cost/High-Capability (HC) 간 전환 효과를 비교.
Full-trajectory transfer 방식은 LC→HC 전환 시 HC 모델의 품질 간극을 50% 미만 회복.
Downshift는 비용-품질 측면에서 유리한 결과를 보임.
전환 방향에 따라 최적의 인터페이스가 달라짐: LC 모델의 트래잭션 정보를 줄이면 escalation 품질 향상, HC 정보 제거는 downshift 품질 저하.

핵심 아이디어

LLM 에이전트는 긴 작업 흐름을 여러 모델 호출과 코드 편집을 통해 수행하며, 사용자는 비용과 품질의 균형을 고려해 모델 전환(escalation/downshift)을 결정해야 한다. 이 연구는 모델 전환 시 발생하는 'non-native trajectory'의 영향을 분석한다.

모델 전환 시, 수신 모델은 다른 모델이 생성한 흐름을 이어가야 하므로, 이는 일반적인 생성 과정과 구조적으로 다르다. 예를 들어, LC 모델이 생성한 오류는 HC 모델이 이를 따라가면서 고착될 수 있고, 반대로 HC 모델의 작업은 LC 모델이 이를 확장하지 못할 수 있다. 따라서, 전환 시 어떤 정보를 전달할지 결정하는 인터페이스 설계가 중요하다.

기술적 접근법

**모델 쌍**: Claude와 GPT 가족에서 LC와 HC 모델 쌍을 사용.
**전환 방향**: LC→HC (escalation), HC→LC (downshift) 비교.
**인터페이스**: Full-trajectory transfer, compaction (LC/HC 작성), Traj-drop (트래잭션 제거, 코드 편집만 유지).
**실험 환경**: SWE-bench Verified 데이터셋 사용.
**비교 지표**: 품질(QRec), 비용(CSRet), 전환 시점(K), 전환 전략(4가지).
**평가 방식**: Switched subset 기반 평가를 통해 실제 전환된 작업만 비교.

주요 결과

**Full-trajectory escalation (LC→HC)**: HC 모델의 품질 간극을 50% 미만 회복하며, 비용은 크게 증가.
**Downshift (HC→LC)**: 비용-품질 측면에서 유리한 결과.
**인터페이스 효과**: LC 모델의 트래잭션 정보를 줄이면 escalation 품질 향상, HC 정보 제거는 downshift 품질 저하.
**SWE-bench Verified**에서 Raw handoff 방식의 escalation은 품질 개선이 제한적임.

의의 및 한계

이 연구는 LLM 에이전트에서 모델 전환 시 발생하는 비용-품질 저하 문제를 체계적으로 분석하며, 'Handoff Tax'라는 개념을 도입한 점에서 학술적 의의가 있다. 특히, 전환 시점과 인터페이스 설계가 결과에 큰 영향을 미친다는 점을 실증적으로 보여준다.

한계점으로는 실험 데이터셋이 SWE-bench Verified에 제한되어 있고, 다양한 도메인에서의 일반화 가능성은 명시되지 않음. 또한, 모델 쌍은 Claude와 GPT에 국한되어 다른 모델 간 비교는 제한적이다.

실용적 활용

이 연구는 클라우드 기반 소프트웨어 개발, 자동화된 코드 리뷰, 대규모 프로젝트 관리 등에서 모델 전환 전략을 설계할 때 유용한 인사이트를 제공한다. 특히, 비용 효율적인 작업 흐름을 유지하면서 품질 저하를 최소화하기 위한 인터페이스 설계에 적용할 수 있다.