한 줄 요약
TBSM은 에너지 거리 기반 삼체 산란을 활용해 ImageNet-256에서 FID 1.63을 달성한 일괄 생성 모델이다.
핵심 기여도
- 삼체 산란(TBSM)을 통해 에너지 거리 $ \frac{1}{2}D_E^2(P_{\theta}, Q) $를 샘플 수준의 운동으로 변환.
- 각 샘플은 하나의 진짜 소스를 향해 끌리고, 하나의 생성된 소스로부터 밀리는 방식으로 학습.
- ImageNet-256에서 PixelDiT-XL과 DiT-XL을 NFE=1로 각각 FID=2.23, FID=1.63 달성.
- 디퓨전, Drift, GAN 기반의 목표를 연결하는 설계 지도 제시.
핵심 아이디어
기존 생성 모델은 대립적 비평가, 노이즈-데이터 경로, 또는 오토회귀 분해에 의존하지만, TBSM은 샘플 수준의 운동을 유도하는 분포 에너지 기반의 새로운 접근법을 제시한다. 이 모델은 각 샘플(프로젝타일)이 하나의 진짜 샘플을 향해 끌리고, 하나의 생성 샘플로부터 밀리는 방식으로 학습하며, 이는 $ \frac{1}{2}D_E^2(P_{\theta}, Q) $의 2-Wasserstein 그래디언트 흐름 속도와 동일한 조건 기반 기대값을 가진다. 이는 샘플 수준의 상호작용을 유지하면서 미니배치 전체의 모든 쌍을 고려하는 기존 방법(예: Drifting Models)과 구별된다.
기술적 접근법
- **TBSM 알고리즘**: 샘플 수준의 상호작용을 통해 에너지 거리를 기반으로 삼체 운동을 정의.
- **샘플 손실**: B개의 고정 타겟 이벤트에서 $ O(B) $개의 샘플 수준 손실을 생성.
- **조건 기반 추적**: 각 샘플의 조건에 따라 에너지 기반의 기대값을 추적하며, 필드 노이즈 감소.
- **이미지 특징 산란**: Qwen2.5-VL, DINOv3, SigLIP의 고정된 특징에서 산란 손실을 형성.
- **NFE=1**: PixelDiT-XL과 DiT-XL 모두 단일 전방 전파로 생성.
주요 결과
- **ImageNet-256**: PixelDiT-XL에서 FID=2.23, DiT-XL에서 FID=1.63 (NFE=1).
- **기존 방법 대비**: Drifting Models와 비교해 미니배치 전체 필드 대신 샘플 수준 조건 사용.
- **추적 효과**: 온라인 조건 기반 추적을 통해 필드 노이즈 감소.
의의 및 한계
TBSM은 고차원 생성 문제에 샘플 수준 상호작용을 적용한 첫 사례로, 디퓨전, Drift, GAN 기반의 목표를 통합하는 설계 지도를 제시한다. 이는 샘플 수준의 에너지 기반 운동을 통해 생성 모델의 새로운 패러다임을 제시하는 데 기여한다. 그러나 현재 연구는 1,000 스텝의 초기 실험에 기반하며, 추가 생성기 가족, 장기 학습, 다양한 벤치마크에 대한 평가가 필요하다.
실용적 활용
TBSM은 고해상도 이미지 생성, 텍스트-이미지 생성, 또는 대규모 데이터셋에서의 빠른 생성이 필요한 산업 및 연구 분야에 적용 가능하다. 특히, NFE=1로 빠른 생성이 가능한 점에서 실시간 생성 시스템 개발에 유용할 수 있다.