FACET: Preserving Source Intent and Executable State in Terminal Task Synthesis

Training terminal agents requires scalable executable supervision, yet synthesizing high-quality terminal tasks remains challenging. Each task couples an instruction, an initialized environment, a reference solution, and an executable verifier; if these artifacts are generated from inconsistent assumptions, the resulting task may be unsolvable or incorrectly evaluated. Meanwhile, multi-stage synthesis can discard the goals, dependencies, state transitions, and procedural constraints encoded in the original sources. We present FACET (Fine-grained Agentic Construction of Executable Tasks), a framework that addresses both information preservation and cross-artifact consistency. FACET reconstructs related agent skills into coherent, information-rich scenarios, then realizes and repairs the execution environment before generating the final task artifacts. The resulting container state serves as shared grounding for the instruction, solution, and verifier, while execution-based validation and targeted repair correct artifact-specific failures without unnecessarily regenerating valid components. FACET produces complex terminal tasks with dense executable checks, and successful trajectories collected from these tasks provide effective, data-efficient supervision. Fine-tuning models across multiple scales consistently improves performance on Terminal-Bench 2.1, while analyses of alternative generation schemes support the importance of environment-grounded construction for task validity and solution-verifier alignment. These results establish source-intent preservation and shared executable-state grounding as key principles for scalable terminal-task synthesis.

한 줄 요약

FACET은 실행 가능한 터미널 태스크를 생성하면서 원본 의도와 실행 상태를 보존하는 프레임워크로, Terminal-Bench 2.1에서 47.57의 성능을 달성했다.

핵심 기여도

FACET 프레임워크를 제안하여 터미널 태스크 생성 시 원본 의도(Source Intent)와 실행 상태(Executable State)를 보존.
실행 환경 기반 생성 방식을 도입하여 태스크 아티팩트 간 일관성을 향상.
Forward 생성 순서(I → S → V)를 통해 83/100 태스크가 최종적으로 유효하게 생성됨 (초기 유효율 46.5%).
Qwen3.5 모델 4B~27B 규모에서 Terminal-Bench 2.1 점수 7.12~8.24 점 상승.

핵심 아이디어

기존 터미널 태스크 생성 방식은 다단계 생성 과정에서 원본 정보가 손실되거나 아티팩트 간 일관성이 떨어지는 문제가 있었다. FACET은 이 문제를 해결하기 위해 **Agentic Scenario Reconstruction** 모듈을 도입하여, 관련된 에이전트 스킬을 일관되고 정보가 풍부한 시나리오로 재구성한다. 이후 실행 환경을 구축하고 복구한 후, 최종 태스크 아티팩트를 생성한다. 생성된 컨테이너 상태는 지시문, 솔루션, 검증기의 공통 기반으로 사용되며, 실행 기반 검증과 타겟팅된 복구를 통해 유효하지 않은 아티팩트만 수정한다. 이는 기존의 별도 생성 방식과 달리, 전체 태스크를 실행 가능한 상태에서 통합적으로 생성하는 새로운 접근법이다.

기술적 접근법

**Agentic Scenario Reconstruction**: 원본 스킬에서 의도, 의존성, 상태 전이 등을 복구.
**Execution Environment Realization & Repair**: 컨테이너 환경을 구축하고 복구하여 아티팩트 생성 전에 실행 상태를 공유.
**Forward Generation Order (I → S → V)**: 지시문 → 솔루션 → 검증기 순으로 생성.
**Execution-based Validation & Repair**: 실행 기반으로 아티팩트별 오류를 탐지하고 복구.
**Repair Rounds**: Forward는 최대 5회, Reverse 및 Joint는 3회 복구 가능.
**Dataset**: Terminal-Bench 2.1 사용.

주요 결과

**Forward 생성 순서**에서 100개 중 83개 태스크가 최종적으로 유효 (초기 유효율 46.5%).
**Reverse 생성 순서**는 63/100, **Joint 생성 순서**는 65/100 유효.
Qwen3.5 모델 4B~27B에서 Terminal-Bench 2.1 점수 7.12~8.24 점 상승.
27B 모델은 47.57 점 달성, Qwen3.5-397B(49.06)에 근접.

의의 및 한계

FACET은 터미널 에이전트 학습을 위한 실행 가능한 데이터 생성을 효율적으로 수행할 수 있는 기반을 제공한다. 특히, 실행 상태를 공유하는 방식은 아티팩트 간 일관성을 높이고, 복잡한 의존성을 유지하는 데 기여한다. 그러나 FACET은 특정 유형의 스킬만을 기반으로 생성하며, 더 다양한 환경이나 소스를 다루는 확장성에 대한 연구는 필요하다. 또한, 생성된 태스크가 실제 인간 작업과 얼마나 유사한지도 추가 분석이 필요하다.

실용적 활용

FACET은 터미널 기반 에이전트 학습, 자동화 스크립트 생성, 시스템 관리 자동화 등에서 활용 가능하다. 특히, 대규모 모델 학습에 필요한 실행 가능한 데이터를 효율적으로 생성할 수 있어, 소규모 팀에서도 높은 품질의 터미널 에이전트를 개발할 수 있는 기반을 제공한다.