OpenThoughts-Agent: Data Recipes for Agentic Models

Agentic language models dramatically expand the applications of AI yet little is publicly known about how to curate training data for broadly capable agents. Existing open efforts such as SWE-Smith, SERA, and Nemotron-Terminal typically target a single benchmark, leaving open the question of how to train models that generalize across diverse agentic tasks. The OpenThoughts-Agent (OT-Agent) project addresses this gap with a fully open data curation pipeline for training agentic models. We conduct more than 100 controlled ablation experiments to systematically investigate each stage of the pipeline, yielding insights on the importance of task sources and diversity. We then assemble a training set of 100K examples from our pipeline and fine-tune Qwen3-32B on this dataset, which yields an average accuracy of 44.8% across seven agentic benchmarks and a 3.9 percentage point improvement over the strongest existing open data agentic model (Nemotron-Terminal-32B, 40.9%). Moreover, our training data exhibits strong scaling properties, outperforming alternative open datasets at every training set size in compute-controlled comparisons. We publicly release our training sets, data pipeline, experimental data, and models at openthoughts.ai to support future open research on agentic model training.

한 줄 요약

OpenThoughts-Agent는 100K 개의 다목적 에이전트 학습 데이터를 생성해 Qwen3-32B를 44.8%의 평균 정확도로 훈련시키는 오픈소스 데이터 파이프라인을 제시한다.

핵심 기여도

100개 이상의 제어된 아블레이션 실험을 통해 에이전트 학습 데이터 파이프라인의 각 단계를 체계적으로 분석.
100K 개의 학습 데이터를 생성하고 Qwen3-32B를 fine-tuning하여 7개의 에이전트 벤치마크에서 평균 44.8%의 정확도 달성.
Nemotron-Terminal-32B 대비 3.9% 포인트 개선.
학습 데이터의 스케일링 성능이 우수해 모든 크기에서 기존 오픈 데이터셋을 앞선다.

핵심 아이디어

기존 오픈 데이터셋(SWE-Smith, SERA, Nemotron-Terminal)은 단일 벤치마크에 집중되어 있어, 다양한 에이전트 작업에 일반화할 수 있는 모델 학습 방법이 명확하지 않았다. OpenThoughts-Agent는 이 문제를 해결하기 위해 **다목적 에이전트 학습 데이터를 생성하는 완전히 오픈된 파이프라인**을 제시한다. 핵심 아이디어는 다음과 같다:

**작업 출처와 다양성의 중요성**: 아블레이션 실험에서 특정 소스의 반복은 수익 감소를 초래하므로, 다양한 출처를 확장해 데이터 다양성을 증가시켰다.
**실행 트레이스 필터링**: 더 많은 모델 턴을 포함한 트레이스를 유지함으로써 학습 데이터의 질을 향상시켰다.
**강력한 교사 모델이 항상 최선은 아님**: 벤치마크 성능이 높은 모델이 반드시 좋은 교사가 되는 것은 아니며, 학습 데이터의 구성이 결과에 큰 영향을 미친다.

기술적 접근법

**데이터 파이프라인**: 6단계의 SFT 데이터 생성 파이프라인을 설계하고, 100개 이상의 아블레이션 실험을 통해 각 단계를 분석.
**학습 데이터셋**: 100K 개의 학습 예시를 생성하고, Qwen3-32B 모델을 fine-tuning.
**RL 데이터셋**: `pymethods2test`라는 새로운 RL 데이터셋을 생성하고, 8B 규모의 모델에 적용.
**하이퍼파라미터**: 학습 시 32K context window, 16K output cap, 2048 토큰의 프로액티브 요약 임계값 사용.

주요 결과

**SWE-Bench Verified**: 54.0% (Nemotron-Terminal-32B: 41.9%)
**Terminal-Bench 2.0**: 26.2% (Nemotron-Terminal-32B: 25.1%)
**7개 벤치마크 평균 정확도**: 44.8% (Nemotron-Terminal-32B: 40.9%, +3.9%p 개선)
**8B 규모 모델**: SFT + RL 파이프라인을 통해 기존 8B 기준 모델 대비 평균 18% 포인트 개선.

의의 및 한계

OpenThoughts-Agent는 **다목적 에이전트 모델 학습을 위한 데이터셋 생성 방법론을 체계적으로 공개**함으로써, 오픈 연구의 한계를 극복하는 데 기여한다. 특히, 데이터 다양성과 스케일링 성능을 강조하며, 기존 단일 벤치마크 중심의 연구를 넘어선다. 하지만 다음과 같은 한계가 존재한다:

**RL 실험은 8B 규모에만 적용**: 32B 규모로 확장 가능성은 아직 검증되지 않았다.
**기반 모델의 영향 분리 미흡**: 모든 SFT는 Qwen3 계열 모델에서 시작되었으며, 기반 모델의 사전 학습 효과는 분리되지 않았다.
**100K 트레이스 규모**: 수백만 트레이스 규모로 확장 시 동일한 성능이 유지되는지 확인되지 않았다.

실용적 활용

OpenThoughts-Agent는 **오픈 연구자들이 에이전트 모델을 학습하고 평가하는 데 필요한 데이터셋과 파이프라인을 제공**함으로써, 소규모 연구팀이나 기업에서도 에이전트 기술을 개발할 수 있도록 지원한다. 특히, 소프트웨어 엔지니어링, 터미널 사용, 툴 호출, 의료, 금융 등 다양한 분야의 에이전트 작업에 적용 가능하다.