A Sovereign, Open-Source Foundation Model for German and English

We present Soofi S 30B-A3B, a sovereign, open-source Mixture-of-Experts (MoE) hybrid Mamba Transformer foundation model for German and English. Its hybrid design activates only 3B of 30B parameters per token and keeps the inference cache near-constant as context grows, giving it a decisive throughput advantage over dense models for long-context, high-concurrency deployment. Pretrained on roughly 27 trillion tokens with deliberately up-weighted German, Soofi S matches dense 14 to 27B models on aggregate English and German benchmarks while achieving the best code aggregates in both languages among 17 open base models, and outperforms every European sovereign baseline in our comparison, including ones far larger in active parameters. Among fully open models, Soofi S obtains the highest English and German evaluation scores, ahead of Olmo 3 32B and Apertus 70B. Soofi S was built end-to-end on the German Industrial AI Cloud, a sovereign HPC scale AI infrastructure operated by Deutsche Telekom in Munich. Soofi S will be released under highly permissive, open-access terms: weights, selected intermediate checkpoints, full per-source data accounting, hyperparameters, and training and evaluation code. Where source licenses permit, data-construction artifacts are released under permissive licenses; commercially licensed sources are documented with aggregate statistics and exact mixture accounting.

한 줄 요약

Soofi S 30B-A3B는 독일어와 영어를 지원하는 오픈소스 MoE-하이브리드 Mamba-Transformer 기반의 30B 파라미터 모델로, 3B만 활성화하며 높은 성능과 투명성을 갖춘 독일 산업 클라우드에서 개발되었다.

핵심 기여도

30B 파라미터 중 3.2B만 토큰당 활성화하여, KV 캐시를 최소화하고 추론 비용을 낮춘 MoE-하이브리드 Mamba-Transformer 구조를 채택.
27트릴리언 토큰으로 사전 학습하며, 독일어 비중을 7.2% (스테이블 단계), 15.32% (에누리 단계)로 상향 조정하여 영어-독일어 이중 언어 성능을 극대화.
17개 오픈 베이스 모델 중 독일어와 영어 코드 평가에서 최고 성적을 기록하며, 유럽 내 독립 모델 대비 10~30점 가량 우수한 성능 보임.
모델 가중치 외에도 하이퍼파라미터, 학습 코드, 데이터 혼합 통계 등을 포함한 모든 재현 가능한 아티팩트를 공개.

핵심 아이디어

Soofi S는 기존의 다국어 모델이 영어 중심이거나 언어별 성능이 희석되는 문제를 해결하기 위해 독일어와 영어에 집중적으로 최적화된 모델을 설계했다. 이는 독일의 경제적·학술적 중요성을 반영한 전략이다. 모델은 Nemotron 3 Nano 아키텍처를 기반으로 하여, Mamba-2 레이어(23개), GQA 레이어(6개), 그리고 MoE 레이어(23개)를 결합한 하이브리드 구조를 채택한다. 이 중 MoE 레이어는 토큰당 3.2B 파라미터만 활성화하며, 전체 30B 파라미터 중 약 10%에 해당한다. KV 캐시를 유지하는 레이어는 6개뿐이기 때문에, 긴 컨텍스트에서도 추론 속도가 유지된다. 이는 기존의 밀집 모델 대비 높은 동시성 처리를 가능하게 한다.

기술적 접근법

**모델 아키텍처**: Nemotron 3 Nano 기반의 52층 하이브리드 구조.
Mamba-2 레이어: 23개, 고정 크기의 순환 상태로 시퀀스 혼합.
GQA 레이어: 6개, 키-값 캐시 유지.
MoE 레이어: 23개, 토큰당 3.2B 파라미터 활성화.
**학습 데이터**: 약 27T 토큰으로 사전 학습.
20T: 다양한 품질 계층의 사전 학습.
7T: 고품질 에누리 단계.
1M 토큰 길이까지 컨텍스트 확장.
**독일어 가중치**: 7.2% (스테이블 단계), 15.32% (에누리 단계)로 상향 조정.
**하이퍼파라미터**: 학습률, 학습 단계, 중도 포기된 에누리 단계까지 포함하여 완전히 공개.

주요 결과

**코드 평가**: HumanEval/MBPP 평균에서 17개 오픈 모델 중 최고 성적.
**수학 평가**: GSM8K, Minerva, INCLUDE-DE에서 상위권 성적.
**독일어 성능**: 유럽 내 독립 모델 대비 10~30점 가량 우수.
**영어-독일어 성능**: 14~27B 밀집 모델과 동등한 수준.
**모델 효율성**: 30B 파라미터 중 3.2B만 활성화하여, 추론 비용은 3B 모델 수준.

의의 및 한계

Soofi S는 독일어와 영어를 모두 고려한 첫 번째 유럽 독립 오픈 모델로, 기존의 영어 중심 또는 다국어 희석 모델과 차별화된다. 또한, 모델 가중치뿐만 아니라 학습 데이터, 하이퍼파라미터, 코드까지 완전히 공개함으로써 오픈소스 생태계의 진정한 투명성을 실현한다. 그러나 독일어 데이터 파이프라인의 품질과 양이 주요 병목으로 작용하며, 이는 향후 성능 향상을 위한 주요 과제로 남아 있다. 또한, 모델은 아직 독일어에만 최적화되어 있어, 다른 언어에 대한 확장성은 명시되지 않았다.

실용적 활용

Soofi S는 독일어와 영어를 사용하는 산업 현장, 특히 고성능 컴퓨팅 환경에서의 대규모 동시성 처리가 필요한 시스템에 적합하다. 또한, 독일 내 연구 기관이 독립적으로 학습 및 평가를 재현할 수 있어, 지역 언어 모델 개발의 템플릿으로 활용될 수 있다.