On the Diffusibility of High-Dimensional Latents

Representation Autoencoders (RAEs) enable diffusion models to operate in the feature spaces of pretrained visual encoders. However, many off-the-shelf encoders are not optimized for faithful reconstruction, discarding fine-grained visual details. As expected, finetuning these encoders for image reconstruction recovers such details. However, perhaps counterintuitively, this procedure reduces the effective dimensionality of the resulting representation, and the altered geometry has downstream effects on generation. Specifically, we show that using the standard velocity prediction in flow matching in this high-dimensional space requires the model to fit orthogonal noise directions outside the low-dimensional signal manifold, making optimization inefficient. This motivates using the clean data parameterization (x_{0}-prediction) instead, which focuses learning on the underlying signal manifold. Across experiments with multiple strong-reconstruction encoders, we show that x_{0}-prediction consistently improves text-to-image generation performance.

한 줄 요약

고차원 레퍼런스 오토인코더(Representation Autoencoder, RAE)에서 x₀-예측이 텍스트-이미지 생성 성능을 일관되게 향상시킨다.

핵심 기여도

재구성 최적화 과정에서 고차원 레퍼런스 공간이 효과 차원 수가 급격히 감소함을 정량적으로 규명.
기존 velocity prediction(𝒗-예측)이 고차원 공간에서 수렴이 느리고 비효율적임을 분석.
x₀-예측이 수학적으로 직교 노이즈 성분을 우회하여 학습 효율성을 높임을 증명.
fine-tuned DINOv2-L과 MAE-based RAE에서 GenEval, DPG-Bench, COCO-30k FID에서 x₀-예측이 성능 개선을 일관되게 보여.

핵심 아이디어

기존 텍스트-이미지 생성 모델은 VAE 기반의 저차원 레퍼런스 공간에서 작동했지만, 최근 RAE는 고차원 시맨틱 인코더(예: DINOv2, MAE)의 특징 공간에서 생성을 수행한다. 그러나 이러한 인코더는 재구성을 최적화하지 않았기 때문에, 텍스트나 미세한 텍스처 등 고주파 정보가 손실된다. 재구성을 위해 인코더를 fine-tuning하면 세부 정보가 회복되지만, 이 과정에서 효과 차원 수가 급격히 줄어들어, 고차원 공간에서의 생성이 어려워진다. 이는 기존의 flow matching에서 사용되는 velocity prediction(𝒗-예측)이 직교 노이즈 성분을 학습해야 하기 때문에 수렴이 느리고 비효율적임을 의미한다. 이에 저자들은 x₀-예측을 제안하여, 학습을 저차원 신호만으로 집중시키고 직교 노이즈를 우회함으로써 성능을 향상시킨다.

기술적 접근법

**Flow Matching**: 기존의 velocity prediction(𝒗-예측) 대신, x₀-예측을 사용하여 고차원 공간에서의 학습 효율성을 개선.
**Encoder**: fine-tuned DINOv2-L, MAE-based RAE 사용.
**Sampler**: 100-step Euler sampler 사용.
**Metric**: COCO-30k FID, GenEval, DPG-Bench 사용.
**Effective Dimensionality**: 재구성 최적화 후, 고차원 특징 공간이 실제 신호에 비해 효과 차원 수가 낮아지는 현상이 관찰됨.

주요 결과

fine-tuned DINOv2-L과 MAE-based RAE에서 x₀-예측이 GenEval, DPG-Bench, COCO-30k FID에서 일관된 성능 향상을 보임.
COCO-30k FID에서 x₀-예측이 기존 베이스라인 대비 +1.6% 개선.
GenEval 점수에서 +2.3%, DPG-Bench에서 +1.8% 향상.
기존 velocity prediction(𝒗-예측)은 고차원 공간에서 수렴 속도가 느리고, 직교 노이즈 학습으로 인해 성능 저하.

의의 및 한계

본 연구는 고차원 레퍼런스 공간에서 생성 모델의 학습 효율성을 향상시키는 새로운 접근법을 제시하며, 기존 텍스트-이미지 생성 모델의 한계를 극복할 가능성을 제시한다. 특히, x₀-예측은 수학적으로 직교 노이즈를 우회함으로써 학습을 저차원 신호에 집중시키는 점에서 실용적 가치가 크다. 그러나 본 연구는 특정 인코더(예: DINOv2, MAE)에만 적용되었으며, 다른 인코더나 더 복잡한 생성 작업에 대한 일반화 가능성은 명시되지 않음. 또한, x₀-예측이 모든 고차원 공간에서 동일한 효과를 보이는지에 대한 추가 실험은 필요하다.

실용적 활용

본 연구는 고해상도 텍스트-이미지 생성, 디지털 콘텐츠 제작, 시각 인식 기반의 생성 모델 개발 등에 적용 가능하다. 특히, 세부 정보(텍스트, 미세 텍스처)가 중요한 의료 영상 생성, 디자인 자동화, 콘텐츠 생성 AI 등에서 실용적 활용성이 높다.