Different Tasks, Different Timesteps: Temporal Task-Aware Quantization for Diffusion Language Models

Diffusion Language Models (DLMs) introduce unique quantization challenges due to their iterative denoising process. In this work, we reveal that quantization sensitivity is both taskand time-dependent, with different downstream tasks exhibiting distinct precision requirements across denoising steps. We further show that these patterns can be predicted without groundtruth labels or task-specific evaluation metrics. Building on these findings, we introduce T 2Quant, a task and time-aware mixedprecision quantization framework that uses a label-free sensitivity signal to optimally allocate activation precision across denoising steps under a fixed bit-width budget. Extensive experiments across three DLMs and six benchmarks demonstrate that T 2Quant consistently improves the average accuracy of existing quantization methods, achieving gains of up to 6.7 percentage points under the same budget.

한 줄 요약

DLM에서의 양자화 민감도가 작업과 시간에 따라 달라짐을 밝히고, T²Quant라는 라벨 없는 믹스-프레시전 양자화 프레임워크를 제안하여 W4A4 기준 최대 6.7% 정확도 향상.

핵심 기여도

DLM의 양자화 민감도가 작업과 시간에 따라 달라짐을 밝힘 (Figure 1).
라벨 없이 양자화 유발 분산과 다운스트림 영향을 결합한 민감도 신호를 제안.
T²Quant를 통해 고정된 비트 예산 내에서 작업별 민감도 패턴에 따라 최적의 활성화 정밀도를 할당.
W4A4 기준 최대 6.7%의 정확도 향상 달성 (GSM8K, LLaDA-8B-Instruct).

핵심 아이디어

DLM의 반복적 디노이징 과정에서 활성화 정밀도의 민감도가 작업과 시간에 따라 달라진다는 점을 발견하였다. 기존 연구는 고정된 정밀도를 유지하는 방식을 사용했으나, 이는 특정 작업에 최적화되지 않았다. 본 연구는 라벨 없이 양자화 유발 분산과 각 디노이징 단계의 다운스트림 영향을 결합하여, 각 단계에서 필요한 정밀도를 예측하는 민감도 신호를 개발하였다. 이를 바탕으로 T²Quant는 고정된 비트 예산 내에서 동적 프로그래밍을 통해 최적의 정밀도 스케줄을 생성한다. 이는 기존 양자화 방법과 호환되며, 작업별 정밀도 요구사항을 반영하여 정확도를 향상시킨다.

기술적 접근법

**민감도 신호**: 양자화 유발 분산과 다운스트림 영향을 결합한 라벨 없는 신호를 사용.
**T²Quant**: 고정된 평균 비트 예산 (예: 4.0) 내에서 동적 프로그래밍을 통해 최적의 활성화 정밀도 스케줄을 생성.
**활성화 예산**: 3.75 평균 비트로 48.4% 정확도 달성 (W4A4 기준 44.1%).
**데이터셋**: LLaDA-8B-Instruct, GSM8K 등 6개 벤치마크에서 실험.
**하이퍼파라미터**: 16개의 캘리브레이션 프롬프트로 75%의 전체 이득 회복 가능.

주요 결과

**LLaDA-8B-Instruct**: T²Quant (49.4%) vs. Uniform W4A4 (44.1%) vs. FP16 (52.9%).
**GSM8K**: T²Quant (48.4%) vs. Uniform W4A4 (44.1%) under 3.75 average bits.
**W4A4 기준**: 최대 6.7%의 정확도 향상.
**비트 예산**: 4.0 평균 비트 예산에서 5% 이상의 정확도 개선 유지.

의의 및 한계

T²Quant는 DLM의 반복적 디노이징 과정에서 발생하는 정밀도 민감도를 고려하여, 기존 양자화 방법보다 더 효율적인 정확도 향상을 가능하게 한다. 특히, 라벨 없이도 정밀도 요구사항을 예측할 수 있어, 대규모 데이터셋이 필요 없는 실용적 장점을 제공한다. 그러나, 양자화가 정확도뿐만 아니라 안전성, 안정성, 실제 추론 효율성에도 영향을 줄 수 있다는 점에서 추가 연구가 필요하다. 또한, T²Quant는 기존 양자화 방법과 호환되지만, 특정 작업에 최적화된 새로운 양자화 기법과의 통합 가능성은 아직 검증되지 않았다.

실용적 활용

T²Quant는 DLM의 효율적인 추론을 필요로 하는 산업 분야, 특히 모바일 및 임베디드 환경에서 유용하게 활용될 수 있다. 또한, 대규모 언어 모델의 배포 비용을 줄이고, 에너지 소비를 최소화하는 데 기여할 수 있다. 연구적으로는, 다양한 작업과 모델 아키텍처에 대한 민감도 패턴을 분석하여, 보다 정밀한 양자화 전략을 개발하는 데 활용 가능하다.