Cola2: Co-Adaptive Hierarchical Language Modeling with Continuous Semantic Compression and Balanced Discrete Generation

Hierarchical language generation separates continuous semantic modeling from discrete text realization, but its effectiveness depends on what the latent space compresses and how the discrete generator uses it. We propose Cola2, a framework that jointly studies continuous semantic compression, the balance between reconstruction and generation, and continuous-discrete co-adaptation. Cola2 dynamically segments text into semantic spans, controls the compression rate through auxiliary-loss-free negative feedback, and combines reconstruction and generation supervision to learn compact, predictive latent representations. A block-causal masked diffusion decoder is trained with clean, noisy, and dropped latent conditions, while classifier-free guidance adjusts the balance between semantic reconstruction and autonomous generation. Token-prediction gradients update the encoder through the latents, whereas Flow Matching prior learning is decoupled from representation learning by stop-gradient. During inference, generated text is re-encoded under a fixed span layout to keep the latent history consistent with the actual text context. Experiments on five downstream tasks with about 210 billion training tokens validate the core designs and show competitive, unsaturated scaling. With 346.03 billion source tokens, an unconverged checkpoint reaches a 60.10 average across eight tasks and surpasses Llama-3-8B on HellaSwag and StoryCloze despite its reported pretraining budget being over 43 times larger. These results demonstrate the potential of continuous-latent hierarchical language generation.

한 줄 요약

Cola2는 연속-이산 협조적 학습을 통해 언어 생성 성능을 향상시키는 계층적 언어 모델링 프레임워크이다.

핵심 기여도

**Continuous semantic compression**과 **balanced discrete generation**을 통합적으로 학습하는 Cola2 프레임워크 제안.
**Block-causal masked diffusion decoder**를 사용해 clean, noisy, dropped 조건에서 학습.
**Classifier-free guidance**로 의미 재구성과 독립 생성의 균형 조절.
346.03억 토큰에서 훈련되지 않은 체크포인트가 8개 태스크에서 평균 60.10 성능 달성.

핵심 아이디어

기존 계층적 언어 생성 모델은 의미 모델링과 텍스트 생성을 분리하지만, 의미 공간의 압축 방식과 생성기의 활용 방식에 따라 성능이 크게 달라진다. Cola2는 이 두 과정을 **동시적 협조**(co-adaptation)를 통해 학습한다. **Dynamic semantic span segmentation**을 통해 텍스트를 의미 단위로 분할하고, **negative feedback**을 사용해 압축률을 조절한다. **Flow Matching**과 **stop-gradient**를 결합해 표현 학습과 사전 학습을 분리함으로써 모델의 안정성을 높인다.

기술적 접근법

**Encoder**: 토큰 예측 기반의 gradient로 업데이트.
**Decoder**: Block-causal masked diffusion decoder로 clean/noisy/dropped 조건 학습.
**Classifier-free guidance**: 의미 재구성과 생성의 균형 조절.
**Flow Matching**: stop-gradient를 통해 표현 학습과 분리.
**Inference**: 고정된 span layout으로 재인코딩하여 latent history와 실제 텍스트 문맥 일치.

주요 결과

2100억 토큰으로 핵심 설계 검증.
346.03억 토큰에서 훈련되지 않은 체크포인트가 8개 태스크에서 평균 60.10 성능.
**HellaSwag**와 **StoryCloze**에서 Llama-3-8B를 초과.
Llama-3-8B는 43배 이상의 훈련 예산을 사용했음에도 Cola2에 뒤처짐.

의의 및 한계

Cola2는 연속-이산 협조 학습을 통해 언어 생성의 표현 효율성과 생성 유연성을 동시에 향상시킨다. 특히, 압축된 의미 표현을 기반으로 한 생성이 기존 모델보다 훨씬 적은 훈련 데이터로도 높은 성능을 보인다는 점에서 학술적·실용적 의의가 크다. 그러나 훈련이 완료되지 않은 체크포인트에서의 성능이므로, 최종 수렴 시 얼마나 더 향상될 수 있는지는 명시되지 않음.

실용적 활용

Cola2는 대규모 언어 모델의 훈련 효율성을 높이고, 생성 품질을 개선하는 데 활용될 수 있다. 특히, 텍스트 요약, 대화 생성, 스토리 생성 등 의미 중심의 생성 작업에 적합하며, 훈련 데이터가 제한된 상황에서도 성능을 유지할 수 있는 모델 설계가 필요한 산업 분야에 유용할 것으로 보인다.