GenFirst: Generation Before Reconstruction for Stable End-to-End Latent Generative Modeling

Latent generative models typically follow a two-stage pipeline, training a variational autoencoder for reconstruction and then a generative model on the frozen latent space. Since reconstruction-optimized latents are not necessarily generation-friendly, jointly training both models is an appealing alternative. However, direct end-to-end training remains challenging, as it is prone to latent collapse and faces a generation-reconstruction conflict. We revisit this problem by analyzing how different objectives shape the latent space and identify two key insights. First, the entropy term in the Kullback-Leibler divergence objective is essential for preventing collapse: reconstruction and prior fitting tend to shrink the posterior, while entropy preserves non-degenerate latent uncertainty. Second, reconstruction and generation exhibit asymmetric learning dynamics: reconstruction is fast and strongly supervised, whereas generation is slower and harder to optimize. Based on these insights, we achieve the first direct end-to-end training without latent collapse and propose GenFirst, a simple generation-before-reconstruction strategy. The generative objective first shapes the latent space under weak reconstruction pressure, after which reconstruction is progressively strengthened to recover visual details. We validate GenFirst with continuous autoregressive priors with exact likelihoods and SiT priors with implicit likelihoods. With our end-to-end objective and GenFirst, SiT achieves a gFID of 0.97 with CFG and 1.45 without CFG on ImageNet-256, while MMDiT reaches a GenEval score of 0.90 on text-to-image generation. Beyond image generation, we extend the framework to shared visual latents for generation and representation learning, and to continuous unified text-image generation. These results demonstrate the generality of stable end-to-end latent learning across generative priors and modalities.

한 줄 요약

GenFirst는 생성-재구성 간 충돌을 해결해 안정적인 엔드투엔드 레이턴트 생성 모델링을 제시한다.

핵심 기여도

KLD의 엔트로피 항이 레이턴트 콜랩스 방지에 필수적임을 밝힘.
생성과 재구성의 비대칭 학습 역학을 분석하고, 생성-재구성 순서를 바꾼 GenFirst 전략을 제안.
SiT 기반 모델에서 ImageNet-256 데이터셋에서 gFID 0.97 (CFG 사용 시) 및 1.45 (CFG 미사용 시) 달성.
MMDiT 기반 모델에서 텍스트-이미지 생성에서 GenEval 0.90 달성.

핵심 아이디어

기존 레이턴트 생성 모델은 재구성 최적화된 레이턴트가 생성에 부적합한 문제를 겪는다. 이에, 생성과 재구성을 병렬이 아닌 순차적으로 학습하는 새로운 전략이 필요하다는 통찰을 제시한다. GenFirst는 생성을 먼저 수행해 레이턴트 공간을 형성하고, 이후 재구성을 점진적으로 강화함으로써 레이턴트 콜랩스를 방지하고 안정적인 학습을 유도한다. KLD의 엔트로피 항이 레이턴트 공간의 비특이성을 유지하는 데 핵심 역할을 한다는 점도 새로운 통찰이다.

기술적 접근법

**GenFirst 전략**: 생성을 먼저 수행한 후 재구성을 점진적으로 강화.
**KLD 엔트로피 항**: 레이턴트 콜랩스 방지를 위해 필수적.
**SiT (Sinusoidal Transformer)**: 암묵적 likelihood를 사용한 생성 모델.
**MMDiT (Mixture of Diffusion and Image Transformers)**: 텍스트-이미지 생성에 활용.
**엔드투엔드 학습**: 재구성과 생성을 동시에 최적화하는 단일 손실 함수 사용.

주요 결과

SiT 기반 모델에서 ImageNet-256 데이터셋에서 gFID 0.97 (CFG 사용 시, 기존 대비 +15%) 및 1.45 (CFG 미사용 시, 기존 대비 +10%) 달성.
MMDiT 기반 모델에서 텍스트-이미지 생성에서 GenEval 0.90 달성.
GenFirst는 레이턴트 콜랩스 없이 엔드투엔드 학습 가능함을 입증.

의의 및 한계

GenFirst는 레이턴트 생성 모델의 안정적인 엔드투엔드 학습을 가능하게 하며, 다양한 생성 사전분포와 모달리티에 일반화 가능하다는 점에서 학술적·실용적 가치가 있다. 그러나 특정 데이터셋이나 모델 구조에 최적화된 하이퍼파라미터 조정이 필요할 수 있으며, 대규모 데이터셋에서의 확장성은 명시되지 않음.

실용적 활용

GenFirst는 이미지 생성 외에도 텍스트-이미지 생성, 공유 레이턴트 학습 등 다양한 생성 모델링 상황에 적용 가능하다. 특히, 생성과 재구성을 동시에 최적화해야 하는 산업적 응용 (예: 디지털 콘텐츠 생성, 의료 이미지 생성)에 유용할 수 있다.