한 줄 요약
MeanFlow는 1-NFE로 ImageNet 256x256에서 FID 3.43를 달성한 원스텝 생성 모델링 프레임워크다.
핵심 기여도
- 평균 속도(average velocity) 개념 도입으로 Flow Matching의 순간 속도 모델링과 구분.
- 평균 속도와 순간 속도 간 정의된 관계식을 통해 신경망 학습을 이끄는 새로운 손실 함수 제안.
- ImageNet 256x256에서 1-NFE로 FID 3.43 달성, 기존 최고 성능 대비 50~70% 개선.
- 사전 학습, 디스틸레이션, 커리큘럼 학습 없이 단일 모델로 학습 가능.
핵심 아이디어
기존 Flow Matching은 순간 속도(instantaneous velocity)를 기반으로 흐름 경로를 학습하지만, 이는 학습 안정성과 일관성에 한계가 있었다. MeanFlow는 이에 대응해 **평균 속도**(average velocity) 개념을 도입한다. 평균 속도는 시간 간격에 대한 변위의 비율로 정의되며, 이는 순간 속도의 시간적 적분으로부터 유도된다. 이를 통해 **평균 속도와 순간 속도 간의 정의된 관계식**을 유도하고, 이를 기반으로 신경망 학습을 안정적으로 이끌 수 있다. 이 관계식은 학습 과정에서 일관된 목표를 제공하며, **추가적인 일관성 휴리스틱**(consistency heuristic) 없이도 학습이 가능하다는 점에서 혁신적이다.
기술적 접근법
- **MeanFlow 모델**은 평균 속도 필드를 직접 모델링하는 신경망을 학습.
- **손실 함수**는 평균 속도와 순간 속도 간의 관계를 만족하도록 설계됨.
- **ViT-B/4 아키텍처**를 사용하며, 80 에포크(400K 반복) 동안 학습.
- **VAE 토크나이저**를 통해 256x256 이미지를 32x32x4 레이턴트 공간으로 변환.
- **1-NFE**(Number of Function Evaluations) 기반 생성, 즉 단일 함수 평가로 샘플링.
주요 결과
- **ImageNet 256x256** 데이터셋에서 **1-NFE**로 **FID 3.43** 달성.
- 기존 최고 성능 모델 대비 **50~70% 개선**.
- **DiT-B/4**는 250-NFE로 FID 68.4, **SiT-B/4**는 250-NFE로 FID 58.9.
- **사전 학습, 디스틸레이션, 커리큘럼 학습 없이** 단일 모델로 학습 가능.
의의 및 한계
MeanFlow는 원스텝 생성 모델의 성능을 획기적으로 향상시키며, 다중 스텝 모델과의 격차를 크게 줄였다. 특히, **평균 속도 기반 학습 프레임워크**는 생성 모델링의 이론적 기반을 재정립하는 데 기여할 수 있다. 또한, **classifier-free guidance**(CFG)를 손실 없이 통합 가능하다는 점에서 실용적 유연성도 높다. 그러나 **복잡한 다중 스케일 시뮬레이션**과의 직접적인 연계 가능성은 아직 명시되지 않았으며, **고해상도 이미지 생성**에서의 확장성도 추가 연구가 필요하다.
실용적 활용
MeanFlow는 빠른 이미지 생성이 필요한 산업 분야(예: 콘텐츠 생성, 게임, 광고)에서 즉시 적용 가능하다. 또한, **사전 학습 없이 단일 모델로 학습** 가능하므로, 연구 초기 단계에서도 빠른 실험 및 개선이 용이하다.