JLT: Clean-Latent Prediction in Latent Diffusion Transformers

Flow matching with clean-data prediction has shown that regressing the clean point can exploit low-dimensional structure more effectively than predicting an ambient noised quantity. We ask whether this principle remains useful after images are mapped into a learned latent space, where compression has already removed much of the raw pixel variability. We introduce JLT, a 130M latent diffusion Transformer over frozen FLUX.2 VAE codes, and compare clean-latent prediction with a matched velocity-prediction DiT under the same representation, backbone, and training settings. Although the three variables x, epsilon, and v are linearly convertible for a fixed corruption time, a local Gaussian analysis shows that velocity regression inherits an isotropic target-covariance floor and amplifies low-variance latent directions, while clean prediction damps them. On ImageNet 256 x 256, JLT-B/1 obtains FID-50K 2.50 with classifier-free guidance, with a large matched-target gap over velocity prediction. These results suggest that prediction targets in latent diffusion are representation-dependent geometric choices, rather than interchangeable algebraic parameterizations.

📋 한 줄 요약

**[Latent Diffusion / Clean Prediction]** JLT가 FLUX.2 VAE 잠재공간에서 clean-latent 예측 DiT 검증, velocity 예측 대비 isotropic covariance floor 회피·ImageNet 256² FID 2.50으로 매치된 velocity baseline 대비 큰 격차.

🎯 핵심 기여도

Flow matching with clean-data prediction이 clean point regression으로 low-dimensional structure를 ambient noised quantity 예측보다 효과적으로 exploit할 수 있음 보임을 배경 소개.
이 원리가 이미지가 learned latent space로 매핑된 이후 — compression이 raw pixel variability 다수 제거 후 — 에도 유용한지 질문.
JLT 도입 — 130M latent diffusion Transformer over frozen FLUX.2 VAE codes, clean-latent 예측과 matched velocity-prediction DiT를 동일 representation·backbone·training settings 하에 비교.
세 변수 x·ε·v가 고정 corruption time에서 linearly convertible이지만 local Gaussian 분석으로 velocity regression이 isotropic target-covariance floor를 inherits하고 low-variance latent direction을 amplify하는 반면 clean prediction은 dampen함 입증.

💡 핵심 아이디어

Latent diffusion에서 예측 target(x, ε, v) 선택은 단순 algebraic parameterization 교체가 아니라 representation-dependent geometric choice이며, learned latent space의 variance 구조에 대해 clean prediction은 low-variance direction을 dampen하고 velocity prediction은 amplify해 본질적으로 다른 행동을 보인다.

🔬 기술적 접근법

**방법론**: JLT — 130M latent diffusion Transformer + clean-latent prediction.
**핵심 기법**: (1) Frozen FLUX.2 VAE의 latent code를 입력으로 사용, (2) 130M parameter Transformer backbone, (3) Clean-latent prediction을 matched velocity-prediction DiT와 동일 설정에서 비교, (4) Local Gaussian 분석으로 isotropic target-covariance floor와 low-variance direction 변화 도출, (5) Classifier-free guidance와 함께 ImageNet 256×256 평가.

📊 주요 결과

ImageNet 256×256: JLT-B/1이 classifier-free guidance와 함께 FID-50K 2.50 달성.
Matched velocity prediction 대비 large target gap.
Velocity regression의 isotropic covariance floor·low-variance 증폭 실증.
Clean prediction이 low-variance latent direction을 dampen해 효율적 학습.

💭 의의 및 한계

**의의**: Latent diffusion의 prediction target 선택이 단순 algebraic 교환이 아니라 representation-dependent geometric 결정임을 이론·실험으로 명확화, FLUX.2 VAE의 latent space에서 clean prediction 우월성 정량 입증, 130M scale에서 SOTA에 근접 FID. **한계**: 130M·ImageNet 단일 평가, frozen FLUX.2 VAE에 종속, 매우 큰 모델 scale에서 동작 추가 검증, text-to-image 등 conditional generation 일반화는 후속.

🚀 실용적 활용

효율적 latent diffusion 모델 설계.
FLUX·Stable Diffusion 등 latent diffusion의 학습 안정성·품질 향상.
Diffusion model의 target parameterization 선택 가이드.