Rethinking Shrinkage Bias in LLM FP4 Pretraining: Geometric Origin, Systemic Impact, and UFP4 Recipe

FP4 training promises substantial reductions in memory and computation cost for LLM pretraining, yet current FP4 hardware paths and recipes, including NVIDIA Blackwell/Rubin-class systems and AMD MI350-series GPUs, remain centered on E2M1 data elements. In this study, we identify a fundamental limitation of that choice: non-uniform formats such as E2M1 inherently suffer from Shrinkage Bias, a systematic negative rounding error caused by the geometric asymmetry of their representable bins. We show that this bias accumulates multiplicatively across layers and is amplified by the Random Hadamard Transform (RHT), providing a unified explanation for the training instability observed in existing E2M1-based FP4 recipes. In contrast, uniform grids (E1M2/INT4) bypass this grid-geometry error and better convert the improved bucket utilization from RHT into higher quantization quality. Based on this finding, we propose UFP4, a uniform 4-bit training recipe that applies RHT to all three training GEMMs while restricting stochastic rounding to dY alone. On Dense 1.5B, MoE 7.9B, and MoE 124B long-run pretraining, UFP4 consistently achieves lower BF16-relative loss degradation than strong E2M1-based baselines, supported by scaling-law analysis and ablation studies. Our results suggest that future accelerators should support E1M2/INT4-style uniform 4-bit grids as first-class training primitives alongside E2M1.

한 줄 요약

UFP4는 E1M2/INT4 기반 4비트 훈련 레시피로, E2M1의 Shrinkage Bias를 해결하여 FP4 훈련 안정성을 향상시킨다.

핵심 기여도

Shrinkage Bias를 정의: E2M1과 같은 비균일 4비트 포맷에서 발생하는 시스템적 음의 반올림 오차.
Shrinkage Bias는 레이어 간 곱셈적으로 누적되고 RHT에 의해 악화됨.
UFP4는 E1M2/INT4 기반으로 모든 3개 GEMM에 RHT 적용, dY에만 SR 적용.
1.5B, 7.9B, 124B 모델에서 BF16 대비 손실 감소를 일관되게 달성.

핵심 아이디어

기존 FP4 훈련은 E2M1 포맷을 사용하지만, 이는 RTNE 반올림 오차로 인한 Shrinkage Bias를 내재적으로 유발한다. 이는 레이어 간 곱셈적으로 누적되어 신호가 감소하고, RHT가 적용될 경우 비대칭 구간에 데이터가 집중되어 훈련 불안정성을 초래한다. 반면, E1M2/INT4와 같은 균일 포맷은 이 오차를 완전히 우회하고 RHT 후의 분포와 더 잘 일치하여 훈련 안정성과 정량화 품질을 높인다. 본 연구는 UFP4를 제안하며, 모든 GEMM(FPROP, DGRAD, WGRAD)에 RHT를 적용하고, dY에만 SR을 사용함으로써 E2M1의 문제를 해결한다.

기술적 접근법

**모델/포맷**: E1M2/INT4 기반 4비트 훈련.
**알고리즘**: 모든 3개 GEMM(FPROP, DGRAD, WGRAD)에 RHT 적용.
**반올림**: dY에만 Stochastic Rounding(SR) 적용.
**데이터셋**: Dense 1.5B, MoE 7.9B, MoE 124B.
**비교 포맷**: E2M1 기반 NVFP4, MXFP4.
**결과 측정**: BF16 대비 손실 감소(BF16-relative loss degradation).

주요 결과

**Dense 1.5B**: UFP4는 E2M1 기반 레시피 대비 BF16 대비 손실 감소.
**MoE 7.9B**: UFP4는 E2M1 기반 레시피 대비 BF16 대비 손실 감소.
**MoE 124B**: UFP4는 E2M1 기반 레시피 대비 BF16 대비 손실 감소 (Figure 1(b) 참조).
**비교 실험**: Scaling-law 분석, ablation study, fused-kernel benchmark를 통해 UFP4의 효과 검증.

의의 및 한계

**의의**: E2M1의 Shrinkage Bias 문제를 이론적으로 정의하고, E1M2/INT4 기반 UFP4로 실질적인 훈련 안정성 향상을 실현.
**한계**: E2M1은 여전히 범위 제한 작업에 유용하지만, 훈련 안정성에서는 E1M2/INT4가 우수.
**제안**: 향후 하드웨어는 E1M2/INT4를 포함한 균일 4비트 포맷을 first-class로 지원해야 함.

실용적 활용

UFP4는 대규모 언어 모델의 저비용 훈련을 가능하게 하며, 1.5B 이상의 모델에서 실용적 적용 가능. 특히, 124B MoE 모델의 장기 훈련에서 E2M1 기반 레시피 대비 더 낮은 손실 감소를 보여주어 산업적 대규모 훈련 시스템에 적합.