Scaling executable agent training data for LLM post-training is bottlenecked by substrate-bound methods that tie task generation to predefined tools, repositories, or skill graphs: expanding coverage requires manual substrate engineering, each new domain demands a bespoke pipeline, and the resulting task distributions often reflect substrate biases rather than real-world demand. We introduce NexForge, a requirement-driven framework that takes high-level capability requirements as input and synthesizes diverse, executable agent tasks and expert trajectories for SFT. NexForge first investigates real-world demand to construct representative scenarios and task profiles, then performs distribution-aware compilation to generate task directives. For each directive, NexForge automatically retrieves or constructs the required files, dependencies, and runtime configurations, and finally synthesizes expert rollouts and produces training trajectories. Without domain-specific infrastructure, NexForge produces 3.6K terminal and 2K office tasks, improving Qwen3.5-35B-A3B Base from 22.5\% to 52.0\% on Terminal-Bench 2.0 and from 813 to 1338 Elo on GDPval; scaling further to 43.2K terminal tasks yields 58.4\%, on par with Claude Opus 4.6 equipped with Claude Code. Scaled further, NexForge-synthesized data contributes to the training of Nex-N2, a family of publicly available agent models that lift Qwen3.5-35B-A3B to 75.3\% on Terminal-Bench 2.1 and to 1585 Elo on GDPval -- achieving state-of-the-art open-source performance and surpassing several frontier proprietary systems. Nex-N2 models are available at https://nex.sii.edu.cn/.
한 줄 요약
NexForge는 요구사항 기반의 작업 합성 프레임워크로, LLM 에이전트의 능력을 확장하여 기존 베이스라인을 크게 상회하는 성능을 달성한다.
핵심 기여도
- 요구사항 기반의 작업 합성 프레임워크 NexForge를 제안, 기존 substrate-bound 방법의 한계를 극복.
- 3.6K 개의 터미널 작업과 2K 개의 오피스 작업을 자동 생성, Qwen3.5-35B-A3B의 Terminal-Bench 2.0 정확도를 22.5% → 52.0%로 향상.
- 43.2K 터미널 작업 확장으로 Claude Opus 4.6과 동등한 58.4% 성능 달성.
- Nex-N2 모델을 공개하여 Qwen3.5-35B-A3B의 Terminal-Bench 2.1 정확도를 75.3%로 향상, GDPval에서 1585 Elo 달성.
핵심 아이디어
기존 작업 생성 방법은 사전 정의된 도구, 저장소, 스킬 그래프에 의존하여 확장성이 낮고, 작업 분포가 실제 수요와 벗어나는 문제가 있었다. NexForge는 고수준 능력 요구사항을 입력으로 받아, 실제 수요를 반영한 다양한 작업과 전문가 트레이젝토리를 합성한다. 이는 특정 도메인 인프라 없이도 실행 가능한 작업을 생성할 수 있게 하며, 작업 분포의 편향성을 줄이고 실제 세계와 유사한 학습 데이터를 제공한다.
기술적 접근법
NexForge는 3단계로 구성된다:
1. 실제 수요 조사로 대표적인 시나리오와 작업 프로파일 생성.
2. 분포 인식적 컴파일을 통해 작업 지시문 생성.
3. 각 지시문에 필요한 파일, 의존성, 런타임 설정을 자동으로 검색 또는 생성한 후, 전문가 rollout과 학습 트레이젝토리 생성.
이 과정은 도메인 특화 인프라 없이도 실행 가능하며, SFT 데이터 생성에 활용된다.
주요 결과
- Qwen3.5-35B-A3B는 NexForge 학습 데이터로 Terminal-Bench 2.0에서 22.5% → 52.0% (+29.5%) 향상.
- 43.2K 터미널 작업 확장 시 58.4% 달성, Claude Opus 4.6과 동등한 수준.
- Nex-N2 모델로 Qwen3.5-35B-A3B는 Terminal-Bench 2.1에서 75.3%, GDPval에서 1585 Elo 달성.
- Nex-N2는 기존 오픈소스 모델 중 최고 성능을 기록하며, 일부 프로퍼티 시스템을 상회함.
의의 및 한계
NexForge는 LLM 에이전트 학습 데이터 생성의 자동화와 확장성을 획기적으로 개선하며, 실제 수요를 반영한 학습 데이터를 제공함으로써 성능 향상에 기여한다. 또한, Nex-N2 모델은 공개되어 연구 및 실용적 활용이 가능하다. 그러나 요구사항 기반 작업 생성의 정확성과 다양성은 입력 요구사항의 질에 크게 의존하며, 일부 복잡한 도메인에서는 추가 개선이 필요할 수 있다.
실용적 활용
NexForge는 LLM 에이전트의 학습 데이터 생성을 자동화하여, 개발자, 연구자, 기업이 다양한 도메인에서 빠르게 에이전트를 훈련할 수 있도록 지원한다. 특히, 클라우드, DevOps, 오피스 자동화 등에서 즉각적인 활용이 가능하다.