Massive Activations in Hybrid Linear Attention Large Language Models: Pre-Attention Spikes and Inter-Spike Plateaus

We present the first systematic study of Massive activations (MAs) in layer-interleaved HLA LLMs and uncover two architecture-aligned morphologies: MAs consistently spike immediately before full attention layers, forming pre-attention spikes (PAS), and can persist through intervening linear attention layers, giving rise to inter-spike plateaus (ISP). As full attention becomes denser, successive PAS become increasingly connected through ISP, ultimately recovering the stable MA morphology of full attention LLMs. We establish the recurrence of this organization across five linear attention architectures, six hybridization configurations, five data domains, and representative open-source hybrid models spanning 1.2B to 397B total parameters. Controlled pretraining of GDN-based hybrids at scales up to 1.3B shows that both morphologies emerge early and respond asymmetrically to output gating: full attention output gating strongly attenuates their absolute magnitudes without eliminating their layerwise organization, whereas removing GDN gates yields comparatively modest amplification. Mechanistically, our systematic-outlier analysis supports a shared lifecycle account governed by the timing of MA cancellation. PAS follows a localized write-sink-cancel process, while the extended persistence of ISP is consistent with delayed cancellation. At the full attention limit, this account recovers the stable MA morphology characteristic of full attention LLMs. Our code is available at https://github.com/StartluxLabs/Massive-Activations-HLA.

한 줄 요약

혼합형 선형 어텐션 대형 언어 모델(HLA LLM)에서 대규모 활성화(MA)의 두 가지 형태, pre-attention spikes(PAS)와 inter-spike plateaus(ISP)를 체계적으로 분석하고, 이들의 발생 메커니즘과 학습 과정에서의 변화를 밝혔다.

핵심 기여도

HLA LLM에서 MA의 두 가지 형태인 PAS와 ISP를 체계적으로 발견하고, 이들이 full attention 레이어와의 관계를 통해 재구성됨을 밝힘.
5개의 선형 어텐션 아키텍처, 6가지 혼합 구성, 5개 데이터 도메인, 1.2B~397B 파라미터의 오픈소스 모델에서 PAS와 ISP의 재현성을 입증.
GDN 기반 1.3B 규모의 제어된 프리트레이닝 실험을 통해 PAS와 ISP가 초기에 나타나고, full attention 출력 게이팅에 비대칭적으로 반응함을 밝힘.
MA의 생명주기 분석을 통해 PAS는 write–sink–cancel 과정을 따르고, ISP는 지연된 취소와 관련됨을 밝힘.

핵심 아이디어

본 연구는 HLA LLM에서 대규모 활성화(MA)의 동작 패턴을 체계적으로 분석함으로써, full attention과 linear attention의 혼합이 내부 활성화 역학에 미치는 영향을 규명하고자 한다. 기존 연구는 full attention 기반 모델에서 MA가 일정한 형태로 유지됨을 보였지만, HLA LLM에서는 full attention 레이어 전후로 PAS와 ISP라는 새로운 형태가 나타난다는 점이 핵심적 통찰이다. 특히, PAS는 full attention 레이어 직전에 발생하며, 이는 write–sink–cancel이라는 단계를 따르는 반면, ISP는 linear attention 레이어를 지나며 지연된 취소를 통해 지속된다. 이는 HLA LLM 내부의 계산 구조와 어텐션 메커니즘의 상호작용을 이해하는 데 중요한 단서를 제공한다.

기술적 접근법

**모델 아키텍처**: Gated DeltaNet (GDN)을 기반으로 24개의 시퀀스 믹싱 레이어를 사용.
**혼합 구성**: GDN 믹서를 full attention으로 교체하여 340M과 1.3B 파라미터 규모의 모델에서 실험.
**데이터셋**: WikiText-103, Scientific Papers, GSM8K, CodeSearchNet, FLORES-200 등 5개 도메인 사용.
**제어 실험**: full attention 출력 게이팅 추가 및 GDN 게이팅 제거를 통해 PAS와 ISP의 반응 분석.
**MA 추적**: attention sink 기반의 MA 토큰 추적 절차를 통해 레이어별로 MA의 위치와 강도를 분석.

주요 결과

**PAS와 ISP의 재현성**: 5개의 선형 어텐션 아키텍처, 6가지 혼합 구성, 5개 도메인, 1.2B~397B 파라미터의 Qwen3.5, Kimi Linear, Nemotron-H, Zamba2 등에서 PAS와 ISP가 일관되게 나타남.
**프리트레이닝 결과**: GDN 기반 1.3B 모델에서 PAS와 ISP는 초기에 나타나며, full attention 출력 게이팅은 그들의 절대 크기를 감소시키지만 레이어별 구조는 유지됨. GDN 게이팅 제거는 비교적 미약한 증폭 효과만 나타냄.
**MA 생명주기**: PAS는 write–sink–cancel 과정을 따르며, ISP는 지연된 취소와 관련됨. full attention 비중이 높아질수록 PAS와 ISP는 full attention LLM의 안정된 MA 형태로 수렴됨.

의의 및 한계

본 연구는 HLA LLM의 내부 활성화 역학을 이해하는 데 중요한 기초를 제공하며, full attention과 linear attention의 혼합이 어떻게 MA의 형태를 변화시키는지 명확히 밝힘. 특히, GDN 기반 모델에서의 제어 실험은 MA의 발생과 유지 메커니즘을 실증적으로 규명하는 데 기여한다. 그러나 본 연구는 주로 inference-time 분석과 제어된 프리트레이닝에 초점을 맞춘 만큼, 실제 대규모 모델에서의 동작이나 학습 과정의 세부 메커니즘은 추가 연구가 필요하다. 또한, MA의 취소 타이밍이 모델 성능에 미치는 영향은 명시되지 않았으며, 이는 향후 연구 주제로 제시된다.

실용적 활용

HLA LLM의 내부 활성화 패턴을 이해함으로써, 모델의 계산 효율성과 표현 능력을 균형 있게 조정하는 데 도움이 될 수 있다. 특히, full attention 레이어의 배치와 게이팅 메커니즘을 조정함으로써, MA의 발생과 유지를 제어하여 모델의 안정성과 성능을 향상시킬 수 있다. 이는 대규모 언어 모델의 설계 및 최적화에 실질적인 적용 가능성을 제공한다.