DecQ: Detail-Condensing Queries for Enhanced Reconstruction and Generation in Representation Autoencoders

Representation Autoencoders (RAEs) leverage frozen vision foundation models (VFMs) as tokenizer encoders, providing robust high-level representations that facilitate fast convergence and high-quality generation in latent diffusion models. However, freezing the VFM inherently constrains its spatial reconstruction capacity, limiting fine-grained generation and image editing; in contrast, incorporating reconstruction-oriented signals via fine-tuning disrupts the pretrained semantic space and degrades generative fidelity. To address this trade-off, we propose DecQ, a simple yet effective framework for RAEs. Specifically, DecQ introduces lightweight detail-condensing queries that extract fine-grained information from intermediate VFM features through condenser modules. These queries are incorporated into the decoder to support reconstruction and are jointly generated with patch tokens during generative modeling. By aggregating information from both shallow and deep layers, DecQ effectively mitigates the reconstruction--generation trade-off, improving both reconstruction quality and generative performance. Our experiments demonstrate that: (1) with only 8 additional queries and 3.9% extra computation, DecQ improves reconstruction over the frozen DINOv2-based RAE, increasing PSNR from 19.13 dB to 22.76 dB; and (2) for generative modeling, DecQ achieves 3.3$\times$ faster convergence than RAE, attaining an FID of 1.41 without guidance and 1.05 with guidance.

📋 한 줄 요약

**[Representation Autoencoder / Latent Diffusion]** DecQ가 8개 detail-condensing query·3.9% 추가 연산으로 frozen DINOv2 RAE의 reconstruction-generation trade-off 해소 — PSNR 19.13→22.76 dB, 3.3× 빠른 수렴, FID 1.41 (no guidance) / 1.05 (guidance).

🎯 핵심 기여도

Representation Autoencoder(RAE)가 frozen vision foundation model(VFM)을 tokenizer encoder로 활용해 latent diffusion model의 빠른 수렴·고품질 생성을 가능하게 함을 배경 소개.
VFM freeze가 spatial reconstruction 능력을 제한 → fine-grained 생성·이미지 편집 제한. 반대로 reconstruction-oriented fine-tuning은 pretrained semantic space를 깨뜨려 generative fidelity 손상 — trade-off 진단.
DecQ 제안 — RAE를 위한 단순·효과적 프레임워크. 경량 detail-condensing query가 condenser 모듈로 중간 VFM feature에서 fine-grained 정보 추출, decoder에 통합돼 reconstruction 지원, generative modeling 시 patch token과 jointly 생성.
Shallow·deep layer의 정보 집계로 trade-off 완화, reconstruction·generation 동시 개선.

💡 핵심 아이디어

RAE의 reconstruction-generation 딜레마는 VFM freeze 자체가 아니라 fine-grained 정보 접근 부재에서 비롯

DecQ 제안 — RAE를 위한 단순·효과적 프레임워크. 경량 detail-condensing query가 condenser 모듈로 중간 VFM feature에서 fine-grained 정보 추출, decoder에 통합돼 reconstruction 지원, generative modeling 시 patch token과 jointly 생성.
Shallow·deep layer의 정보 집계로 trade-off 완화, reconstruction·generation 동시 개선.

💡 핵심 아이디어

RAE의 reconstruction-generation 딜레마는 VFM freeze 자체가 아니라 fine-grained 정보 접근 부재에서 비롯되며, condenser로 중간 layer feature를 압축한 query를 decoder에 주입하면서 generative process에 jointly 생성하면 semantic space 보존과 detail 복원을 동시 달성할 수 있다.

🔬 기술적 접근법

**방법론**: DecQ — Detail-Condensing Queries + condenser 모듈.
**핵심 기법**: (1) 경량 detail-condensing query 도입, (2) Condenser 모듈이 중간 VFM feature에서 fine-grained 정보 추출, (3) Query를 decoder에 통합해 reconstruction 보조, (4) Generative modeling 시 query를 patch token과 jointly 생성, (5) Shallow·deep layer 정보 집계로 trade-off 완화.

📊 주요 결과

단 8 query·3.9% 추가 연산만으로 frozen DINOv2 기반 RAE의 PSNR 19.13 → 22.76 dB.
Generative modeling에서 RAE 대비 3.3× 빠른 수렴.
FID 1.41 (no guidance), 1.05 (with guidance) 달성.
Reconstruction·generation 동시 개선.

💭 의의 및 한계

**의의**: VFM 기반 latent generation의 핵심 trade-off를 minimal 비용으로 해소, condenser-query 디자인의 일반 적용 가능 패턴, latent diffusion의 detail 표현력 향상으로 fine-grained 생성·편집 가능성 확장. **한계**: VFM 의존(DINOv2 외 일반화 추

💭 의의 및 한계

🚀 실용적 활용

고품질 latent diffusion 모델.
이미지 편집·detail-preserving 생성.
경량 RAE 기반 multimodal 생성.

DecQ: Detail-Condensing Queries for Enhanced Reconstruction and Generation in Representation Autoencoders

Abstract

한국어 요약

📋 한 줄 요약

🎯 핵심 기여도

💡 핵심 아이디어

💡 핵심 아이디어

🔬 기술적 접근법

📊 주요 결과

💭 의의 및 한계

💭 의의 및 한계

🚀 실용적 활용