Puro-2B: Poor Lab's Qwen2-1.5B Trained on RTX 5090 within $5090

Language model pretraining has become almost synonymous with prohibitive cost, placing it out of reach for much of the academic and open-source communities. Although strong open-source efforts already exist, including open-weight models and open-source training recipes, a cost-efficient, hardware-accessible, and open-source pretraining recipe has long been missing. Even at a small scale, training Llama-3.2-3B costs over \1.5M, and reproducing SmolLM3-3B needs over 700K. In this report, we present an open pretraining recipe designed to lower this barrier. Using this recipe, we train a collection of Puro-2B models from scratch on up to 1.4 trillion tokens with FP8 precision on consumer-grade RTX 5090 GPUs. The models in the collection differ in token budgets and selected recipe variants. Our best model is trained at a compute cost of less than \6.9K and approaches Qwen2.5-1.5B performance under our evaluation protocol. This cost efficiency is enabled by a combination of approaches, including hardware selection, low-precision training, hyperball optimization, curriculum model averaging, and the data recipe. Beyond the recipe itself, we provide two additional results. First, across the Puro-2B collection, we derive a Puro Cost Scaling Law that relates training cost to average model performance; the fitted law suggests that about 4.4K, less than \$5,090, is sufficient to reach the performance of Qwen2-1.5B. Second, as an end-to-end case study, we examine how pretraining data curricula shape downstream performance after post-training. Such controlled studies are enabled by having access to the full pretraining pipeline rather than model weights alone. We release the full training recipe for Puro-2B, including data, code, and model weights under Apache 2.0 at https://huggingface.co/collections/thu-pacman/puro-2b.

한 줄 요약

Puro-2B는 RTX 5090 GPU와 FP8 정밀도를 활용해 6,900달러 미만에 훈련된 2B 파라미터 언어 모델로, Qwen2.5-1.5B 수준의 성능을 달성한다.

핵심 기여도

Puro-2B는 1.4조 토큰의 데이터로 훈련되어 최대 6,900달러 미만의 비용으로 Qwen2.5-1.5B 수준의 성능을 달성함.
FP8 정밀도, MuonH 최적화, Curriculum Model Averaging(CMA) 등의 기술을 결합하여 저비용 훈련을 가능하게 함.
Puro Cost Scaling Law를 제시하여 Qwen2-1.5B 수준 성능을 4,400달러 미만으로 달성할 수 있음을 보여줌.
훈련 파이프라인, 데이터, 코드, 모델 가중치를 Apache 2.0 라이선스로 공개함.

핵심 아이디어

Puro-2B는 기존의 고비용 언어 모델 훈련을 저비용으로 재현하기 위한 종합적인 레시피를 제시한다. 이는 단순히 모델 가중치 공개를 넘어, 훈련 데이터, 훈련 코드, 하드웨어 설정, 최적화 전략까지 모두 공개함으로써 연구 재현성을 높인다. 핵심 아이디어는 다음과 같다:
1. **FP8 정밀도 훈련**을 통해 계산 효율성을 높이며, **MuonH 최적화기**를 도입하여 학습 안정성과 수렴 속도를 개선함.
2. **Curriculum Model Averaging(CMA)**을 통해 데이터 순서와 체크포인트 평균화를 결합하여 모델 성능을 향상시킴.
3. **Puro Cost Scaling Law**를 통해 훈련 비용과 모델 성능 간의 관계를 정량적으로 분석하여, 저비용으로도 높은 성능을 달성할 수 있음을 입증함.

기술적 접근법

**모델 아키텍처**: Qwen3-1.7B의 구조를 기반으로, 입력 임베딩 행렬과 출력 헤드를 분리하여 약 2B 파라미터를 구성함.
**훈련 전략**:
**Phase 1**: 24개의 RTX 5090 GPU를 사용하여 438.8B 토큰 훈련.
**Phase 2**: 96개의 GPU를 사용하여 960.0B 토큰 훈련.
**정밀도**: 주요 계산은 **blockwise FP8**을 사용하고, 민감한 연산은 **BF16/FP32**로 유지함.
**최적화기**: **MuonH**를 사용하며, 학습률 스케줄링과 **Hyperball 제약**을 결합하여 파라미터 업데이트를 안정화함.
**데이터 전략**: **Proxy 실험**을 통해 데이터셋 선택과 혼합 설계를 최적화함.
**훈련 시간**: 총 22,514 GPU-시간 소요됨.

주요 결과

**Puro-2B**는 Qwen2-1.5B보다 높은 성능을 보이며, Qwen2.5-1.5B 수준에 근접함.
**GSM8K** 데이터셋에서 Puro-2B는 Qwen2-1.5B 대비 +1.61%의 정확도 향상을 기록함.
**Puro Cost Scaling Law**에 따르면, Qwen2-1.5B 수준 성능은 약 4,400달러 미만의 비용으로 달성 가능함.
**Curriculum Ordering**은 Uniform Ordering 대비 1.18~1.61%의 성능 향상을 보여줌.
**Constant-LR Continuation**을 통해 0.63~1.01%의 추가 성능 개선이 가능함.

의의 및 한계

Puro-2B는 저비용으로도 높은 성능을 달성함으로써, 학술 연구와 오픈소스 커뮤니티가 모델 훈련을 직접 재현하고 실험할 수 있는 기회를 제공한다. 특히, **훈련 파이프라인의 전체 공개**는 모델 훈련 과정을 투명하게 하고, 재현성을 높이는 데 기여한다. 그러나, Puro-2B는 **Qwen2.5-1.5B 수준에 근접**하지만 완전히 동일한 성능은 아니며, **데이터셋의 품질과 다양성**이 모델 성능에 큰 영향을 미친다는 점에서 한계가 있다. 또한, **RTX 5090 GPU 기반의 훈련 환경**은 일부 연구실에서는 접근성이 낮을 수 있다.

실용적 활용

Puro-2B는 **저예산 연구실**, **교육 기관**, **개인 연구자** 등 자원이 제한된 환경에서 언어 모델 훈련을 직접 수행하고 실험할 수 있는 실용적 도구로 활용될 수 있다. 특히, **FP8 정밀도와 MuonH 최적화기**를 활용한 훈련 전략은 비용 효율적인 모델 개발에 기여할 수 있으며, **데이터셋 선택과 훈련 전략의 공개**는 모델 훈련 과정을 투명하게 하고 재현성을 높이는 데 기여한다.