NCP-ArchPreview Technical Report: Moving towards Latent Space Language Models through Next Concept Prediction

We introduce NCP-ArchPreview, a latent-space language model that pushes autoregressive pretraining beyond standard next-token prediction (NTP). Alongside NTP, the model learns through Next Concept Prediction (NCP) to predict discrete concepts that span multiple tokens, introducing an explicit and more challenging concept-level objective while preserving standard token-level autoregressive generation. NCP-ArchPreview builds a latent space by constructing a product-quantized concept vocabulary directly from its hidden states, and subsequently learns to predict future concepts via a dedicated Concept Module. These predicted concepts are then fed back to the token level to guide subsequent generation, with NTP and NCP trained jointly end-to-end. We scale this architecture to 8.9B parameters and train it on 5.73T tokens from the Dolma-3 dataset, marking the largest demonstration of a latent-space language model to date. Remarkably, by consuming only 51.3% of the total training tokens, NCP-ArchPreview achieves the final pretraining loss of OLMo-3-7B. Following full pretraining, it outperforms OLMo-3-7B by 2.45 points on the downstream macro-average, including a notable 5.99-point gain on GSM8K. Controlled experiments isolate a clear progression of performance gains stemming from both the latent architecture and the NCP objective. Furthermore, utilizing only 85% of the standard computation, NCP-ArchPreview approaches the training loss of a strictly parameter-aligned 8.9B baseline. The learned latent space remains highly valuable after the pretraining stage: updating just the 17M-parameter VQ module yields a novel, lightweight interface for domain adaptation, while a simple injection of concept representations into a DFlash2 drafter improves the mean accepted length by 4.17% with negligible overhead.

한 줄 요약

NCP-ArchPreview는 개념 수준 예측을 도입한 대규모 잠재공간 언어 모델로, 기존 토큰 예측 기반 모델보다 높은 성능을 보인다.

핵심 기여도

Next Concept Prediction(NCP)이라는 새로운 개념 수준 예측 기법 도입.
8.9B 파라미터, 5.73T 토큰의 Dolma-3 데이터셋을 사용한 대규모 잠재공간 언어 모델 구축.
OLMo-3-7B 대비 2.45포인트 높은 다운스트림 성능, GSM8K에서 5.99포인트 개선.
85%의 계산량으로 8.9B 기준 모델의 훈련 손실에 근접.

핵심 아이디어

NCP-ArchPreview는 기존의 단일 토큰 예측(NTP)에 더해, 여러 토큰을 아우르는 개념 단위를 예측하는 NCP를 도입하여, 토큰 수준과 개념 수준의 예측을 결합한다. 이는 잠재공간 내에서 개념을 이산화한 Product-Quantized 개념 어휘를 생성하고, 이를 통해 미래 개념을 예측하는 Concept Module을 학습하는 방식이다. 예측된 개념은 토큰 생성 과정에 피드백되어 생성 흐름을 유도하며, NTP와 NCP가 end-to-end로 결합되어 학습된다. 이는 기존 언어 모델이 단일 토큰에만 집중하는 한계를 극복하고, 더 고차원적인 의미 단위를 학습할 수 있도록 한다.

기술적 접근법

**NCP**: 여러 토큰을 아우르는 개념 단위를 예측하는 새로운 학습 목표.
**Product-Quantized Concept Vocabulary**: 잠재공간에서 직접 생성된 이산 개념 어휘.
**Concept Module**: 미래 개념을 예측하는 전용 모듈.
**Dolma-3 데이터셋**: 5.73T 토큰 사용.
**모델 규모**: 8.9B 파라미터.
**훈련 방식**: NTP와 NCP가 end-to-end로 결합된 방식.

주요 결과

51.3%의 훈련 토큰만으로 OLMo-3-7B의 최종 훈련 손실 달성.
다운스트림 태스크에서 OLMo-3-7B 대비 2.45포인트 개선.
GSM8K에서 5.99포인트 개선.
85%의 계산량으로 8.9B 기준 모델의 훈련 손실에 근접.
17M 파라미터의 VQ 모듈만 업데이트해도 도메인 적응 성능 향상.

의의 및 한계

NCP-ArchPreview는 잠재공간 언어 모델의 대규모 적용 가능성을 보여주며, 개념 수준 예측을 통해 의미 단위를 학습하는 새로운 방향을 제시한다. 특히, 훈련 효율성과 성능 개선이 동시에 이루어진 점이 주목할 만하다. 그러나 개념 단위의 정의와 추출 방식은 아직 명시되지 않았으며, 다양한 도메인에서의 일반화 가능성에 대한 추가 연구가 필요하다.

실용적 활용

NCP-ArchPreview는 대규모 언어 모델의 효율적 훈련과 도메인 적응에 활용될 수 있으며, 특히 개념 단위를 기반으로 한 추론 및 생성 품질 향상이 필요한 산업 분야에서 유용할 것으로 기대된다.