AdvFD: Boosting Visual Generation via Adversarial Fr'echet Distance Loss

Fréchet distance has recently emerged as an effective distribution-level objective for generator post-training, complementing the conventional sample-level diffusion and flow-matching losses. However, directly optimizing Fréchet objectives can cause Fréchet hacking. The target metrics keep improving, but visual quality and Fréchet alignment in other feature spaces may stagnate or deteriorate. We attribute this failure to the static pretrained feature spaces used by existing Fréchet losses. These feature spaces provide incomplete and fixed views of the differences between real and generated distributions. To address this limitation, we propose Adversarial Fréchet Distance (AdvFD), which complements the static representation targets in FD-Loss with a calibrated adversarially learned representation. AdvFD augments the original static Fréchet objective with a learnable representation that adversarially maximizes the Fréchet discrepancy between real and generated samples, while the generator minimizes the same discrepancy in the resulting adaptive feature space. To prevent the adversarial representation from trivially increasing the objective through feature amplification, we further introduce real-feature whitening, which normalizes its scale and covariance geometry and stabilizes the min--max optimization. Extensive experiments show that AdvFD consistently improves one-step generator post-training across both JiT and pMF backbones and across different model scales.

한 줄 요약

AdvFD는 정적 특징 공간의 한계를 극복하기 위해 적대적 학습을 통한 Fréchet 거리 최적화를 제안하여 시각 생성 품질을 향상시킨다.

핵심 기여도

**Fréchet Hacking 문제**를 식별: 정적 Fréchet 거리 최적화가 지표는 개선되지만 시각 품질은 저하됨.
**Adversarial Fréchet Distance (AdvFD)** 제안: 정적 FD-Loss에 적대적으로 학습된 특징 공간을 추가하여 잔여 차이를 드러냄.
**Real-feature whitening** 도입: 특징 공간의 스케일과 공분산을 정규화하여 최적화 안정성 향상.
**JiT와 pMF 백본**에서 일관된 품질 개선: FD-r6와 FD-r3 지표에서 각각 58.50 → 40.54, 10.69 → 개선됨.

핵심 아이디어

기존 FD-Loss는 Inception, SigLIP, MAE와 같은 정적 사전학습된 특징 공간을 사용하여 Fréchet 거리를 최소화한다. 그러나 이는 생성 모델이 특정 특징 공간에 과적합되어 다른 특징 공간에서의 정렬이 악화되는 **Fréchet hacking**을 유발한다. 예를 들어, FD-r-Inception은 29.4% 개선되지만 FD-r-CLIP은 8.5% 악화된다. 이는 정적 특징 공간이 생성 분포와 실제 분포 간의 차이를 완전히 포착하지 못하기 때문이다.

AdvFD는 이러한 문제를 해결하기 위해 **적대적으로 학습된 특징 공간**을 도입한다. 이는 생성 모델이 최소화하는 Fréchet 거리와 동시에, 적대적 특징 공간이 최대화하는 Fréchet 차이를 동시에 학습하는 **min–max 최적화**를 수행한다. 이는 생성 모델이 단순히 정적 특징 공간에 맞춰 조정되는 것이 아니라, 잔여 차이를 드러내는 적응적 특징 공간을 학습하게 만든다.

기술적 접근법

**AdvFD**: FD-Loss에 **적대적으로 학습된 특징 공간**을 추가.
**Real-feature whitening**: 적대적 특징 공간의 스케일과 공분산을 정규화하여 **특징 확대를 억제**.
**Adversarial representation**: Inception으로 초기화된 학습 가능한 특징 공간.
**Backbone**: JiT와 pMF에서 실험.
**하이퍼파라미터**: LoRA(rank-16)를 사용하여 SigLIP, MAE의 메모리 제약 해결.
**최적화**: D-step에서 생성 분포와 실제 분포 간의 잔여 차이를 재선택.

주요 결과

**FD-r6**: FD-Loss 기준 58.50 → AdvFD 적용 시 40.54로 개선 (약 30% 감소).
**FD-r3**: FD-Loss 기준 10.69 → AdvFD 적용 시 개선됨.
**FID**: PatchGAN 적용 시 악화되지만, AdvFD 적용 시 안정적 개선.
**Cross-encoder FD**: FD-r-CLIP 등 미사용 특징 공간에서도 개선됨.
**JiT와 pMF**: 모두 AdvFD 적용 시 일관된 품질 향상.

의의 및 한계

AdvFD는 정적 특징 공간의 한계를 극복하고, 생성 모델이 다양한 특징 공간에서의 분포 정렬을 동시에 개선할 수 있도록 한다. 특히, **적응적 특징 공간**을 도입함으로써 Fréchet hacking 문제를 해결하고, **1-NFE 샘플링 비용**을 유지하면서도 품질을 향상시킨다. 그러나, **적대적 특징 공간의 초기화**가 중요하며, 잘못된 초기화는 오히려 성능 저하를 초래할 수 있다. 또한, **LoRA 제약**으로 인해 SigLIP, MAE는 Inception보다 성능이 낮았다.

실용적 활용

AdvFD는 이미지 생성 모델의 post-training 단계에서 적용 가능하며, 특히 **고해상도 이미지 생성**, **다중 모델 백본**, **비동기 샘플링** 환경에서 유용하다. 생성 이미지의 시각 품질과 분포 정렬을 동시에 개선하므로, **디지털 콘텐츠 제작**, **의료 영상 생성**, **VR/AR** 등 다양한 산업 분야에서 활용 가능하다.