DCAS: Decoupling CLI Agent Scaffolding to Internalize Planning across Scaffolds

CLI-based software-engineering agents have matured rapidly, yet the open ecosystem has converged on a single training environment: trajectory datasets used to fine-tune open models are collected almost exclusively under OpenHands. Models fine-tuned on this data score well under OpenHands but degrade substantially when deployed under any non-training scaffold. Untrained base models do not show this divergence, indicating the gap is fine-tuning-induced and tied to the conventions of the training scaffold. We argue that a load-bearing scaffold-specific behavior is planning structure, in two senses this paper distinguishes: explicit planning, a pre-execution plan produced as a first-class artifact, and implicit planning, the structural conventions that shape execution throughout the agent loop. Under this hypothesis, closing the gap requires moving planning from a fixed scaffold artifact to a learned model capability. We introduce Decoupling CLI Agent Scaffolding (DCAS), a backend-substitution interception layer that routes API traffic between any CLI scaffold and any backend model without modifying the scaffold, enabling cross-scaffold evaluation and planning-aware trajectory collection. Using DCAS, a controlled plan-source intervention confirms planning quality is a high-leverage component, with gains exceeding the cross-scaffold drops we observe. A model fine-tuned on a small set of DCAS-collected planning-aware trajectories under a single scaffold gains consistently across non-training scaffolds, and the two senses of planning are empirically separable in training data.

한 줄 요약

DCAS는 CLI 에이전트의 플래닝 구조를 학습 가능한 모델 기능으로 전환하여 다양한 스크래프에서의 성능 저하를 해결한다.

핵심 기여도

CLI 에이전트가 특정 스크래프에서만 잘 작동하는 문제를 분석하고, 이는 플래닝 구조와 관련이 있음을 제시.
DCAS라는 백엔드 교체 인터셉션 레이어를 제안하여, CLI 스크래프와 백엔드 모델 간의 API 트래픽을 라우팅.
DCAS를 사용한 플래닝-인식 트래젝토리 수집으로, 단일 스크래프에서 훈련한 모델이 비훈련 스크래프에서도 일관된 성능 향상을 보임.
명시적 플래닝과 암묵적 플래닝이라는 두 가지 개념을 구분하고, 훈련 데이터에서 실증적으로 분리 가능함을 보임.

핵심 아이디어

CLI 기반 소프트웨어 엔지니어링 에이전트는 OpenHands 스크래프에서 훈련된 데이터로 미세 조정되었을 때, 동일한 환경에서는 잘 작동하지만, 다른 스크래프에서는 성능이 급격히 저하된다. 이는 훈련 스크래프의 관례에 의존한 플래닝 구조 때문으로, 이는 모델에 내재화되지 않은 고정된 구조이다. 본 연구는 이 문제를 해결하기 위해, 플래닝을 고정된 스크래프 아티팩트에서 학습 가능한 모델 기능으로 전환해야 한다고 주장한다. 이를 위해 DCAS를 제안하여, 스크래프와 백엔드 모델 간의 분리가 가능하도록 설계했다.

기술적 접근법

DCAS는 CLI 스크래프와 백엔드 모델 간의 API 트래픽을 라우팅하는 인터셉션 레이어.
스크래프 수정 없이, 다양한 CLI 스크래프와 모델 간의 호환 가능성을 제공.
플래닝-인식 트래젝토리 수집을 통해, 명시적 및 암묵적 플래닝을 구분하는 훈련 데이터를 생성.
단일 스크래프에서 수집된 데이터로 미세 조정한 모델이 비훈련 스크래프에서도 성능 향상을 보임.

주요 결과

DCAS를 사용한 플래닝-인식 트래젝토리 수집을 통해, 단일 스크래프에서 훈련한 모델이 비훈련 스크래프에서도 일관된 성능 향상을 보임.
명시적 플래닝과 암묵적 플래닝은 훈련 데이터에서 실증적으로 분리 가능함을 확인.
플래닝 품질은 성능 향상에 높은 영향을 미치며, 이는 교차 스크래프 성능 저하를 상회하는 개선폭을 보임.

의의 및 한계

DCAS는 CLI 에이전트의 스크래프 종속성을 줄이고, 다양한 환경에서의 일반화 능력을 향상시키는 기술적 기반을 제공.
플래닝 구조를 모델 내재화하는 접근은 에이전트 기반 시스템의 학습 이론에 기여.
그러나 DCAS는 특정 스크래프에서만 훈련한 모델의 일반화를 향상시키는 데 초점을 맞추고, 모든 스크래프에 대한 보편적 해결책은 아님.

실용적 활용

DCAS는 CLI 기반 에이전트가 다양한 개발 환경에서 사용될 수 있도록 지원하며, 특히 DevOps 자동화, 코드 생성, CI/CD 파이프라인 등에서 유용하게 활용될 수 있다.