GQA-{\mu}P: The maximal parameterization update for grouped query attention

Hyperparameter transfer across model architectures dramatically reduces the amount of compute necessary for tuning large language models (LLMs). The maximal update parameterization ({\mu}P) ensures transfer through principled mathematical analysis but can be challenging to derive for new model architectures. Building on the spectral feature-learning view of Yang et al. (2023a), we make two advances. First, we promote spectral norm conditions on the weights from a heuristic to the definition of feature learning, and as a consequence arrive at the Complete-P depth and weight-decay scalings without recourse to lazy-learning. Second, we consider a modified spectral norm that preserves the valid scaling law of network weights when weight matrices are not full rank. This enables (to our knowledge, the first) derivation of {\mu}P scalings for grouped-query attention (GQA). We demonstrate the efficacy of our theoretical derivations by showing learning rate transfer across the GQA repetition hyperparameter as well as experiments regarding transfer over weight decay.

📋 한 줄 요약

**[Scaling Laws / Attention]** Grouped-Query Attention에 대한 최초의 μP 스케일링 유도와 학습률 전이 검증.

🎯 핵심 기여도

가중치에 대한 **스펙트럴 노름 조건**을 휴리스틱에서 **특성 학습의 정의**로 격상, 그 결과로 lazy-learning에 의존하지 않고 **Complete-P depth 및 weight decay 스케일링** 유도
가중치 행렬이 풀랭크가 아닐 때 유효 스케일링 법칙을 보존하는 **수정된 스펙트럴 노름** 도입
이를 통해 (저자들이 아는 한) **GQA에 대한 최초의 μP 스케일링 유도** 달성
GQA repetition 하이퍼파라미터 및 weight decay에 대한 **학습률 전이** 실험적 검증

💡 핵심 아이디어

μP(maximal update parameterization)는 LLM 튜닝에 필요한 컴퓨트를 크게 줄이지만 새로운 아키텍처에 대한 유도가 어렵다. Yang et al. (2023a)의 스펙트럴 특성 학습 관점을 발전시켜, GQA처럼 가중치가 풀랭크가 아닌 경우에도 적용 가능한 일반화된 μP 이론을 제시한다.

🔬 기술적 접근법

**모델/방법론**: 스펙트럴 특성 학습 이론의 확장
**핵심 기법**: (1) 스펙트럴 노름 조건을 feature learning의 정의로 채택해 Complete-P 깊이·weight decay 스케일링을 lazy-learning 없이 유도, (2) 비풀랭크 가중치를 다루는 수정된 스펙트럴 노름 도입, (3) 이를 사용해 GQA의 μP 스케일링을 최초로 유도

📊 주요 결과

GQA repetition 하이퍼파라미터에 대한 학습률 전이 실험적 검증
weight decay 전이에 대한 실험적 검증
GQA에 대한 최초의 μP 유도

💭 의의 및 한계

**의의**: GQA가 표준 어텐션이 된 시대에 μP 이론의 실용성을 회복시키며, 비풀랭크 가중치를 다루는 일반 도구를 제공한다. **한계**: 이론은 스펙트럴 노름 가정에 기반하며, MLA·MoE 등 더 복잡한 아키텍처로의 확장은 추가 분석이 필요하다.

🚀 실용적 활용

GQA 사용 LLM의 학습률·weight decay 하이퍼파라미터 튜닝 비용 절감
소규모 모델에서 튜닝한 하이퍼파라미터를 대규모 모델로 전이
새로운 어텐션 변형에 대한 μP 유도 방법론 템플릿