Aligning Latent Geometry for Spherical Flow Matching in Image Generation

Latent flow matching for image generation usually transports Gaussian noise to variational autoencoder latents along linear paths. Both endpoints, however, concentrate in thin spherical shells, and a Euclidean chord leaves those shells even when preprocessing aligns their radii. By decomposing each latent token into radial and angular components, we show through component-swap probes that decoded perceptual and semantic content is carried predominantly by direction, with radius contributing much less. We therefore project data latents onto a fixed token radius, use the radial projection of Gaussian noise as the spherical prior, finetune the decoder with the encoder frozen, and replace linear interpolation with spherical linear interpolation. The resulting geodesic paths stay on the sphere at every timestep, and their velocity targets are purely angular by construction. Under matched training, the method consistently improves class-conditional ImageNet-256 FID across different image tokenizers, leaves the diffusion architecture unchanged, and requires no auxiliary encoder or representation-alignment objective.

📋 한 줄 요약

**[이미지 생성 / Flow Matching]** VAE latent와 Gaussian noise가 모두 얇은 구면 껍질에 집중된다는 관찰을 바탕으로, 토큰 반지름을 고정해 구면 위에서만 흐름을 정의하는 spherical flow matching 제안.

🎯 핵심 기여도

VAE latent와 Gaussian noise가 모두 얇은 구면 껍질(thin spherical shells)에 집중되어 있어, 두 끝점을 직선으로 연결하는 Euclidean chord가 껍질을 벗어난다는 문제를 진단.
component-swap probe로 디코딩되는 perceptual·semantic 정보의 대부분이 방향(direction)에 실리고 반지름(radius)의 기여는 작다는 것을 실증.
토큰별 latent를 고정 토큰 반지름에 투영하고, Gaussian noise의 방사 투영(radial projection)을 spherical prior로 사용, encoder는 frozen 상태로 decoder만 finetune하는 워크플로 도입.
선형 보간을 spherical linear interpolation으로 대체해 매 timestep마다 구면 위에 머무는 geodesic path와 순수 angular velocity target을 자연스럽게 얻음.

💡 핵심 아이디어

이미지의 의미 정보는 latent의 방향에 거의 전부 실려 있으므로, 흐름 자체를 구면 위로 제한하면 분포의 본질적 구조를 보존하면서 학습 신호도 단순해진다는 관점.

🔬 기술적 접근법

**모델/방법론**: latent flow matching의 변형으로 토큰별 latent를 고정 반지름으로 투영, encoder는 freeze하고 decoder만 finetune.
**핵심 기법**: radial-angular decomposition + spherical linear interpolation(slerp) 기반 geodesic path, 순수 angular velocity target, diffusion 아키텍처는 변경 없음.

📊 주요 결과

동일 학습 조건에서 class-conditional ImageNet-256 FID가 다양한 image tokenizer에 대해 일관되게 개선.
diffusion 아키텍처 변경·보조 encoder·representation alignment 손실 추가 없음.
컴포넌트 스왑 분석으로 angular 정보의 의미적 우위를 정량 입증.

💭 의의 및 한계

**의의**: latent 분포의 기하 구조에 맞춘 흐름 정의가 모델 변경 없이도 생성 품질을 개선함을 보이며 flow matching 설계 원칙에 새 관점을 제공. **한계**: 구면 가정이 다른 VAE/토크나이저에서도 보편적으로 유효한지, 비조건부 생성·고해상도 합성에서의 일반화는 추가 검증 필요.

🚀 실용적 활용

기존 latent diffusion 파이프라인의 drop-in 개선책.
자기지도 표현학습에서 방향 정보 중심 분석 도구.
토크나이저-디퓨전 호환성 진단 프로토콜.