APEX: Asynchronous Prefix Denoising for Extreme Compression

Fewer latent tokens promise cheaper diffusion. Yet aggressive latent compression creates a reconstruction-generation dilemma: adding channels improves reconstruction but makes generation harder. We introduce APEX, short for Asynchronous Prefix denoising for EXtreme compression, which pairs a hierarchical latent space with asynchronous denoising over channel groups. Our autoencoder orders channel prefixes from structure to detail, while one shared denoiser generates them at staggered local times without adding tokens. On ImageNet-512, APEX outperforms existing methods at every evaluated channel count under 64x and 128x compression. At matched training and guided sampling compute, it also outperforms a 256-token model at every evaluated budget, with larger gains at lower compute. Code is available at https://daviddinkevich.github.io/APEX.

한 줄 요약

APEX는 64x 및 128x 압축에서 ImageNet-512에서 기존 방법을 능가하는 비동기 프리픽스 디노이징 기반의 극단적 공간 압축 기법이다.

핵심 기여도

**계층적 채널 구조와 비동기 디노이징의 결합**: APEX는 채널 수준과 비동기 디노이징을 통합하여, 기존 방법보다 훨씬 높은 압축률에서 생성 품질을 유지한다.
**고압축이 계산 효율성으로 전환**: 64토큰 APEX는 256토큰 기반 모델보다 모든 평가된 가이드 추론 예산에서 gFID 성능을 뛰어넘는다.
**추가 정보 병목 없이 생성 가능성 향상**: APEX는 별도의 정보 병목 없이 생성 가능성과 재구성 품질을 동시에 유지한다.

핵심 아이디어

기존의 고압축 레이턴트 디퓨전 모델은 재구성 품질 향상을 위해 채널 수를 늘리지만, 이는 생성 과정에서 복잡도를 증가시켜 품질 저하를 유발한다. APEX는 이 딜레마를 해결하기 위해 **계층적 채널 구조**와 **비동기 디노이징**을 결합한다. 구조적 정보부터 세부 정보까지 채널을 순차적으로 정렬하고, 공유된 디노이저가 각 단계에서 다른 시간에 디노이징을 수행함으로써, 이전 단계의 더 깨끗한 정보를 기반으로 생성을 조건화한다. 이는 추가 토큰 없이도 높은 품질의 생성을 가능하게 한다.

기술적 접근법

**계층적 오토인코더**: 채널 프리픽스를 구조부터 세부까지 순차적으로 정렬하며, 각 단계는 점차 높은 해상도의 타겟을 사용해 학습된다.
**공유 디노이저**: 하나의 Transformer가 채널 그룹을 비동기적으로 디노이징하며, 각 단계는 이전 단계의 더 깨끗한 컨텍스트를 기반으로 생성된다.
**토큰 수 증가 없음**: 채널 차원에서만 확장하므로, 토큰 수는 증가하지 않는다.
**하이퍼파라미터**: 스테이거 갭(stagger gap), 글로벌 클록 분포, 단계별 타겟 해상도 등이 학습과 추론에 영향을 미친다.

주요 결과

**ImageNet-512에서 64x 및 128x 압축**: APEX는 모든 평가된 채널 수에서 기존 방법을 능가한다.
**128x 압축, 512x512 이미지, 16토큰**: APEX는 SiT-XL 기반으로 gFID 8.98를 달성한다. 비교 모델은 모두 두 자릿수 gFID를 보인다.
**64토큰 APEX vs 256토큰 기반 모델**: APEX는 모든 평가된 가이드 추론 예산에서 gFID를 뛰어넘으며, 계산량이 낮을수록 개선 폭이 커진다.
**64x 압축, 128채널**: APEX는 SD-VAE의 1024토큰 모델과 동일한 gFID를 달성하면서 15%의 디노이저 학습 FLOPs만 사용한다.

의의 및 한계

APEX는 높은 공간 압축이 단순한 속도 향상이 아닌, 품질-계산 효율성의 이점을 제공함을 보여준다. 이는 레이턴트 디퓨전 모델의 설계 패러다임을 바꾸는 가능성을 열어준다. 그러나 APEX는 **채널 경계, 단계별 타겟 해상도, 스테이거 갭, 글로벌 클록 분포** 등의 하이퍼파라미터를 수동으로 설정해야 하며, 이는 특정 설정에 따라 최적화가 달라질 수 있다. 이러한 하이퍼파라미터를 오토인코더와 디노이저와 함께 학습하는 방향이 향후 연구 주제로 제시된다.

실용적 활용

APEX는 고해상도 이미지 생성이 필요한 산업(예: 콘텐츠 생성, 디자인, 게임)에서 계산 효율성을 극대화하면서도 품질을 유지할 수 있는 기술로 활용 가능하다. 특히, 토큰 수를 줄이면서도 높은 품질을 보장하는 점에서, 모바일 및 에지 기기에서의 실시간 이미지 생성에도 적합하다.