OrbitQuant: Data-Agnostic Quantization for Image and Video Diffusion Transformers

Diffusion transformers (DiTs) achieve state-of-the-art image and video generation, but their multi-step sampling and growing parameter count make inference expensive. Post-training quantization (PTQ) is the natural remedy, yet DiT activations shift across timesteps, prompts, and guidance branches, forcing prior methods to re-fit calibration data for every new checkpoint or modality. We present OrbitQuant, a data-agnostic weight-activation quantizer that bypasses range estimation by quantizing in a normalized, rotated basis. In this basis, a randomized permuted block-Hadamard (RPBH) rotation concentrates each coordinate around one fixed, known marginal regardless of the input, so a single Lloyd-Max codebook serves all timesteps, prompts, and layers of a given input dimension. We extend the same quantizer to weight rows offline, absorbing the rotation into the weights so that it cancels inside each linear layer and only a forward rotation on the activations remains at runtime. The same recipe transfers from image to video with no per-modality tuning. Across FLUX.1, Z-Image-Turbo, Wan 2.1, and CogVideoX, it sets the state of the art for PTQ at several low-bit settings. It also pushes PTQ of image diffusion transformers to W2A4 with usable generation quality.

한 줄 요약

OrbitQuant은 이미지 및 동영상 생성 디퓨전 트랜스포머(DiT)의 추론 비용을 낮추는 데이터 무관한 양자화 기법이다.

핵심 기여도

RPBH(RandPerm Block-Hadamard) 회전을 통해 단일 Lloyd-Max 코드북으로 모든 타임스텝, 프롬프트, 레이어의 활성화를 양자화.
가중치 행에도 동일한 회전을 오프라인으로 적용하여 런타임 시 활성화에만 전방 회전이 남음.
FLUX.1, Z-Image-Turbo, Wan 2.1, CogVideoX 모델에서 W2A4 설정에서도 사용 가능한 생성 품질 달성.
모달리티별 튜닝 없이 이미지에서 동영상으로의 전이 가능.

핵심 아이디어

기존 PTQ 방법은 DiT의 활성화가 타임스텝, 프롬프트, 가이드 브랜치에 따라 변동하므로, 각 체크포인트마다 새로운 캘리브레이션 데이터가 필요하다. OrbitQuant은 이 문제를 회전 기반의 분포 코드북 문제로 재구성한다. RPBH 회전을 통해 정규화된 활성화를 고정된 분포를 따르는 좌표로 변환하면, 단일 Lloyd-Max 코드북으로 모든 활성화를 양자화할 수 있다. 이 회전은 가중치 행에도 적용되어 런타임 시 선형 레이어 내부에서 상쇄되며, 활성화에만 전방 회전이 남는다. 이는 캘리브레이션 없이도 저비트에서 안정적인 양자화를 가능하게 한다.

기술적 접근법

**RPBH 회전**: 블록-하다마르드 기반의 랜덤 순열 회전으로, 활성화의 분포를 고정된 것으로 변환.
**Lloyd-Max 코드북**: 회전 후 고정된 분포에 맞춰 오프라인으로 학습된 단일 코드북.
**가중치 행 회전**: 가중치 행에 동일한 회전 적용 후 런타임 시 레이어 내부에서 상쇄.
**W2A4 설정**: 2비트 가중치와 4비트 활성화를 지원하며, 기존 PTQ 기법이 노이즈로 무너지는 상황에서도 사용 가능한 품질 유지.

주요 결과

FLUX.1, Z-Image-Turbo, Wan 2.1, CogVideoX 모델에서 GenEval과 VBench에서 최신 PTQ 기법으로 성능 기록.
W2A4 설정에서도 사용 가능한 생성 품질 달성 (기존 PTQ 기법은 노이즈로 무너짐).
모델별 튜닝 없이 이미지에서 동영상으로의 전이 가능.

의의 및 한계

OrbitQuant은 캘리브레이션 없이도 저비트에서 안정적인 양자화를 가능하게 하며, DiT의 추론 비용을 대폭 절감한다. 특히, W2A4 설정에서 기존 PTQ 기법이 실패하는 상황에서도 생성 품질을 유지하는 점이 학술적·실용적 가치를 높인다. 그러나 RPBH 회전의 랜덤성에 따라 일부 모델에서 최적의 성능이 달성되지 않을 가능성은 남아 있다. 또한, 회전 적용 시 계산 복잡도가 증가할 수 있어, 런타임 성능 최적화가 필요하다.

실용적 활용

OrbitQuant은 고해상도 이미지 및 동영상 생성 모델의 실시간 추론을 요구하는 산업 (예: 콘텐츠 생성, VR/AR)에서 유용하게 활용될 수 있다. 또한, 대규모 모델의 에너지 효율성 향상에도 기여할 수 있다.