SEGA: Spectral-Energy Guided Attention for Resolution Extrapolation in Diffusion Transformers

Diffusion transformers (DiTs) have emerged as a dominant architecture for text-to-image generation, yet their performance drops when generating at resolutions beyond their training range. Existing training-free approaches mitigate this by modifying inference-time attention behavior, often through Rotary Position Embeddings (RoPE) extrapolation combined with attention scaling. However, these strategies apply a uniform and content-agnostic scaling across RoPE components with distinct frequency characteristics, inducing a trade-off between preserving global structure and recovering fine detail. We introduce SEGA, a training-free method that dynamically scales attention across RoPE components according to the latent's spatial-frequency structure at each denoising step. This adaptive scaling improves both structural coherence and fine-detail fidelity. Experiments show that SEGA consistently improves high-resolution synthesis across multiple target resolutions, outperforming state-of-the-art training-free baselines.

한 줄 요약

**[Diffusion Transformer / Resolution Extrapolation]** SEGA가 RoPE component별로 latent의 spatial-frequency 구조에 따라 동적 scaling -- training-free·multi-resolution에서 structural coherence·fine-detail fidelity 동시 개선·SOTA training-free baseline outperform.

핵심 기여도

Diffusion transformer(DiT)가 text-to-image의 dominant 아키텍처지만 학습 범위 초과 해상도 생성 시 성능 저하 문제 진단.
기존 training-free 접근이 inference-time attention 행동 수정(RoPE extrapolation + attention scaling)으로 이를 완화하지만, 이 전략이 distinct frequency characteristic의 RoPE 컴포넌트에 균일·content-agnostic scaling 적용 -- global structure 보존과 fine detail 회복 사이의 trade-off 유발.
SEGA -- training-free 방법으로 각 denoising step의 latent spatial-frequency 구조에 따라 RoPE 컴포넌트별 attention scaling 동적 조정. 이 adaptive scaling이 structural coherence와 fine-detail fidelity 동시 개선.
실험: SEGA가 multiple target 해상도에서 일관 high-resolution synthesis 향상, SOTA training-free baseline outperform.

핵심 아이디어

DiT의 해상도 외삽 실패는 RoPE 컴포넌트의 frequency 특성을 무시하는 균일 scaling에서 비롯되며, latent의 spatial-frequency 구조에 따라 컴포넌트별로 동적 scaling을 적용하면 training 없이도 structural coherence와 fine detail을 동시 회복할 수 있다.

기술적 접근법

**방법론**: SEGA -- Spectral-Energy Guided Attention.
**핵심 기법**: (1) Latent의 spatial-frequency 구조 분석, (2) RoPE 컴포넌트별 frequency 특성에 따른 동적 scaling, (3) 각 denoising step에서 spectral-energy 가이드 attention 적용, (4) Training-free·content-aware, (5) 다중 target 해상도에서 검증.

주요 결과

다양 target 해상도에서 일관 high-resolution synthesis 향상.
SOTA training-free baseline outperform.
Structural coherence·fine-detail fidelity 동시 개선.

의의 및 한계

**의의**: DiT의 해상도 외삽 한계를 spectral-energy 가이드 attention으로 training 없이 해결, RoPE 컴포넌트의 frequency 특성을 첫 명시적 활용, 다중 해상도 일관 성능. **한계**: 매우 극단적 해상도(8K 이상)에서의 검증 한계, latent spatial-frequency 분석의 계산 비용, abstract에서 quantitative 수치 미명시.

실용적 활용

High-resolution text-to-image generation.
Diffusion model의 training-free 해상도 외삽.
Image super-resolution 보완 도구.