Apertus 1.5: From Open Text Models to Open Multimodal Reasoners

Language models are becoming infrastructure, and infrastructure built in the open, by public institutions, on documented data, is the alternative to dependence on a few providers; Apertus shows this is viable at scale. Apertus 1.5 extends the fully open Apertus family from text to multimodal reasoning. Continued pretraining of the Apertus 1.0 models, on 4T additional tokens for the 8B and 2T for the 70B, adds image and audio understanding and extends the context window fourfold to 262,144 tokens; multimodality enters through the tokenizer, the language-model head remains restricted to text, and the architecture is unchanged. Supervised finetuning, long-context finetuning, reinforcement learning with verifiable rewards, and preference alignment complete the released models. Thinking is a flag of the chat template rather than a separate model, and lifts mathematical reasoning by up to 20 points on the 8B model. The released models improve over their predecessors on nearly every benchmark; among fully open models of its class, the 8B leads on knowledge, instruction following, and cultural benchmarks, and its instruction following surpasses all compared models, including open-weight ones. On image and audio understanding, a first for the family, the models are competitive with fully open multimodal models, strongest on document understanding and long-form and lower-resource speech recognition, while specialized vision and audio models remain ahead on perception and transcription of English and other high-resource languages. As in Apertus 1.0, we train only on openly available data, respect crawler opt-outs retroactively, and exclude restrictively licensed material. We release the model weights, data preparation and training recipes, and evaluation suites under permissive licenses; openness extends to values, with the Apertus charter guiding alignment stages published alongside the models.

한 줄 요약

Apertus 1.5는 8B 및 70B 모델로, 텍스트를 기반으로 이미지와 오디오를 처리하는 멀티모달 모델로 확장되며, 262,144 토큰의 컨텍스트를 지원한다.

핵심 기여도

Apertus 1.5 8B 및 70B 모델은 텍스트, 이미지, 오디오를 처리하는 멀티모달 모델로 확장됨.
8B 모델은 4T 토큰, 70B 모델은 2T 토큰의 추가 학습으로 멀티모달 능력을 추가함.
컨텍스트 윈도우가 4배 확장되어 262,144 토큰 지원.
사고 모드(Thinking)를 도입하여 수학 문제 해결 능력이 최대 20점 향상됨 (MATH-500 기준).

핵심 아이디어

Apertus 1.5는 기존 텍스트 기반 모델인 Apertus 1.0을 멀티모달로 확장하는 데 초점을 맞춘다. 멀티모달 학습은 토크나이저를 통해 이루어지며, 언어 모델 헤드는 텍스트에만 제한된다. 이는 기존 아키텍처를 변경하지 않고도 이미지와 오디오 처리를 추가할 수 있다는 점에서 혁신적이다. 또한, 사고 모드는 채팅 템플릿의 플래그로 제공되며, 별도의 모델이 아닌 동일한 모델 내에서 활성화된다. 이는 수학 문제 해결 능력을 향상시키는 데 기여한다.

Apertus 1.5는 훈련 데이터와 코드, 모델 가중치, 평가 툴을 Apache 2.0 라이선스로 공개함으로써 '완전한 오픈'을 실현한다. 이는 기존의 오픈 모델들이 데이터나 훈련 레시피를 공개하지 않는 문제를 해결하는 핵심 전략이다.

기술적 접근법

**모델 아키텍처**: 언어 모델 헤드는 텍스트에만 제한됨. 멀티모달 입력은 토크나이저를 통해 처리됨.
**데이터**: 8B 모델은 4T 토큰, 70B 모델은 2T 토큰의 추가 학습 데이터를 사용함.
**훈련 단계**:
**Supervised Finetuning (SFT)**
**Long-context Finetuning**
**Reinforcement Learning with Verifiable Rewards (RLVR)**
**Direct Preference Optimization (DPO)**
**Charter Alignment with Self-Distillation Policy Optimization (SDPO)**
**컨텍스트 확장**: 262,144 토큰으로 4배 증가.
**사고 모드**: 채팅 템플릿 플래그로 활성화됨.

주요 결과

**수학 문제 해결**: 사고 모드 활성화 시 8B 모델의 MATH-500 정확도가 51.2에서 71.4로 20점 상승.
**명령어 수행**: IFEval에서 87.1, Multi-IF에서 83.7로 기존 모델 대비 우수.
**멀티모달 성능**: 8B 모델은 문서 이해와 장문/저자원 음성 인식에서 다른 오픈 멀티모달 모델 대비 우수.
**70B 모델**: 단일 턴 함수 호출 정확도가 58.0에서 70.1로 향상됨 (Llama-3.3-70B 대비 1.5점 차이).

의의 및 한계

Apertus 1.5는 오픈 소스 AI 모델의 한계를 극복하고, 데이터, 코드, 훈련 레시피, 가치 기준까지 완전히 공개함으로써 신뢰성과 투명성을 높인다. 특히, 멀티모달 모델을 기존 텍스트 모델에서 확장하는 방식은 기존 아키텍처를 유지하면서도 새로운 능력을 추가하는 혁신적인 접근법이다.

하지만, 영어 및 고자원 언어의 시각/음성 인식에서는 전용 모델에 비해 여전히 뒤처져 있으며, 짧은 형식의 환상 생성(short-form hallucination)과 사고 모드와의 결합 등 일부 한계가 남아 있다.

실용적 활용

Apertus 1.5는 교육, 연구, 개발자 도구 등 다양한 산업 분야에서 활용 가능하다. 특히, 투명한 훈련 과정과 공개된 레시피는 연구자들이 모델을 재현하고 개선하는 데 유리하며, 멀티모달 처리 능력은 문서 분석, 장문 음성 인식 등 실용적 응용 분야에서 활용될 수 있다.