CLI-Universe: Towards Verifiable Task Synthesis Engine for Terminal Agents

While recent LLM-based terminal agents have demonstrated promising capabilities, the scarcity of high-quality, executable training data remains a critical bottleneck. Existing synthesis pipelines typically scale by retrofitting surface-level artifacts into tasks, frequently yielding ambiguous instructions, shallow execution paths, and brittle tests that provide weak learning signals. To overcome this, we introduce CLI-Universe, a principled synthesis engine that constructs terminal-agent tasks. CLI-Universe generates candidate tasks by sampling combinations across a multi-dimensional capability taxonomy (domain, skill type, capability, and engineering pillar), then grounds each candidate through evidence-guided deep research over real-world technical materials. To ensure rigorous supervision, validated blueprints are instantiated into Dockerized environments and subjected to a multi-stage executable verification pipeline featuring rubric-gated test construction, hint-conditional filtering, and strict fail-to-pass checking. Across the full pipeline, from candidate generation to verification, approximately two-thirds of candidates are discarded, retaining only those that are genuine, verifiable, and non-trivially challenging. To validate our framework, we instantiate a highly distilled dataset of 6,000 trajectories called CLI-Universe-6K. Remarkably, fine-tuning Qwen3-32B on CLI-Universe-6K achieves 33.4% on Terminal-Bench 2.0. This sets a new state-of-the-art for models trained on open-source data at or below 32B parameters, and outperforms several models an order of magnitude larger, demonstrating the profound data efficiency of structured, high-fidelity synthesis.

한 줄 요약

CLI-Universe는 구조화된 능력 분류와 실증적 연구를 기반으로 생성된 CLI 작업을 통해 터미널 에이전트 학습 효율을 높이는 시스템이다.

핵심 기여도

CLI-Universe는 도메인, 스킬 타입, 능력, 엔지니어링 기둥을 기반으로 작업을 생성하는 다차원 능력 분류 체계를 도입.
Docker 환경 내에서 실행 가능한 작업을 생성하고, rubric-gated 테스트, hint-conditional 필터링, fail-to-pass 체크를 포함한 다단계 검증 파이프라인을 적용.
CLI-Universe-6K(6,000개 트레젝토리) 데이터셋 생성 후 Qwen3-32B 미세조정으로 Terminal-Bench 2.0에서 33.4% 달성.
32B 이하 파라미터 모델 중 최고 성능이며, 10배 이상 큰 모델보다도 우수한 성능 보임.

핵심 아이디어

CLI-Universe는 기존 작업 생성 파이프라인의 문제를 해결하기 위해, 작업을 단순히 기존 자료에서 재가공하는 대신, 구조화된 능력 분류와 실증적 연구를 통해 생성한다. 이는 작업이 명확한 도메인, 스킬, 엔지니어링 기둥을 기반으로 정의되도록 보장하며, 실제 기술 자료(리포지토리, 문서, 이슈 토론 등)를 통해 작업의 현실성을 높인다.

또한, 생성된 작업은 Docker 환경에서 실행 가능하도록 구현되며, rubric-gated 테스트, hint-conditional 필터링, fail-to-pass 체크를 통해 작업의 품질과 학습 신호의 강도를 보장한다. 이는 작업이 단순히 실행 가능한 것이 아니라, 의미 있는 상태 전이를 유도하도록 설계되었다는 점에서 차별화된다.

기술적 접근법

**다차원 능력 분류**: 도메인, 스킬 타입, 능력, 엔지니어링 기둥을 기반으로 작업 후보를 생성.
**실증적 연구**: 실제 기술 자료(리포지토리, 문서, 이슈 등)를 통해 작업을 구체화하고, 실패 모드와 제약 조건을 반영.
**Docker 환경**: 생성된 작업은 Docker 환경에서 실행 가능하도록 자산과 런타임 상태를 구현.
**다단계 검증 파이프라인**: rubric-gated 테스트, hint-conditional 필터링, fail-to-pass 체크를 통해 작업의 2/3을 거르고, 고신뢰 작업만 남김.

주요 결과

CLI-Universe-6K 데이터셋을 사용한 Qwen3-32B 미세조정 모델은 Terminal-Bench 2.0에서 33.4% 달성.
32B 이하 파라미터 모델 중 최고 성능이며, 10배 이상 큰 모델(예: 100B 이상)보다도 Terminal-Bench 2.0에서 우수한 성능 보임.
BFCL-v4 및 VitaBench 등 도메인 외 벤치마크에서도 일반화 성능 상승 관찰.

의의 및 한계

CLI-Universe는 터미널 에이전트 학습 데이터의 품질을 근본적으로 개선하는 체계적인 프레임워크를 제시한다. 특히, rubric-gated 테스트와 fail-to-pass 체크를 통해 학습 신호의 강도를 높인 점이 학술적·실용적 가치가 크다. 그러나, 작업 생성 과정에서 2/3의 후보가 거르는 점은 데이터 생성 비용이 높을 수 있음을 시사한다. 또한, CLI-Universe-6K는 6,000개의 트레젝토리로 구성되어 있어, 더 큰 규모의 데이터셋이 필요할 수 있다.

실용적 활용

CLI-Universe는 터미널 에이전트의 학습 데이터 생성을 자동화하고 품질을 보장할 수 있어, 소프트웨어 개발, 시스템 관리, 보안 분석 등 CLI 기반 작업이 필요한 산업에서 활용 가능하다. 또한, 연구자들이 고신뢰 터미널 에이전트를 개발할 때 데이터 생성 및 검증 프로세스를 표준화하는 데 유용할 수 있다.