Sliding-window beats linear attention

Due to the nature of quadratic attention, Large Language Models (LLMs) consume a lot of memory and energy. Every new token costs more than the previous one. For each additional token, the keys and values must be stored in memory indefinitely, which is unsustainable. Several alternatives have been proposed to fix the quadratic scaling problem, one of which is retrofitting LLMs to use Linear Attention. This idea has attracted a lot of attention, given its promise to solve the quadratic scaling problem with state-of-the-art performance at low cost. However, this line of research has not been properly compared to simpler baselines. In this work, we show that Sliding Window Attention (SWA) with sinks performs as well or better than post-trained Linear Attention models. We observe this across multiple LLMs on various downstream tasks. For long-context reasoning tasks (Needle-in-a-Haystack and BABILong), SWA achieves massively higher performance (2 to 10 times higher than linear attention). SWA requires no post-training, is extremely fast, and requires low memory; therefore, making it an extremely cheap and reliable solution. To reduce inference memory cost, we strongly recommend switching to SWA instead of post-training linear models. Linear attention models may have shown some promise, but they likely require to be trained from scratch or extensive post-training in order to even match SWA.

한 줄 요약

슬라이딩 윈도우 어텐션(SWA)이 포스트 트레이닝된 라인어 어텐션 모델보다 성능이 우수하며, 추가 학습 없이도 높은 효율성을 보인다.

핵심 기여도

**Sliding Window Attention (SWA)** 가 포스트 트레이닝된 라인어 어텐션 모델보다 다운스트림 태스크에서 더 높은 성능을 보임.
**Needle-in-a-Haystack 및 BABILong** 등 장문 추론 태스크에서 SWA는 라인어 어텐션보다 2~10배 높은 성능 달성.
SWA는 **추가 학습 없이**, **낮은 메모리 소비**, **고속 추론**을 통해 경제적이고 신뢰할 수 있는 솔루션 제공.
**SWA(64, 4)** 설정에서 MMLU 93.2% (±3.5), 평균 99.0% (±0.5) 달성.

핵심 아이디어

기존의 라인어 어텐션은 메모리 소비를 줄이는 데 유리하지만, 학습 비용이 높고 표현력이 낮아 성능 저하를 유발한다. 반면, **Sliding Window Attention (SWA)** 은 기존 모델의 어텐션 메커니즘을 단순히 마스크를 변경하는 방식으로 교체할 수 있으며, **4개의 sink 토큰**과 **최근 w개 토큰**만 참조함으로써 메모리 사용량을 고정시킨다. 이는 추가 학습 없이도 성능을 유지하거나 향상시킬 수 있다는 점에서 혁신적이다. 특히, **LoLCATs** 가 40M 토큰으로 학습한 라인어 어텐션 모델보다 SWA가 더 높은 성능을 보이는 것은 SWA의 간단한 구조가 오히려 장기 기억을 더 잘 유지할 수 있음을 시사한다.

기술적 접근법

**Sliding Window Attention (SWA)** 은 **w=64**, **s=4**로 설정.
**포스트 트레이닝 없이** 기존 모델의 어텐션 메커니즘을 SWA로 교체.
**KV 캐시를 유지하지 않아** 메모리 소비가 고정됨.
**QRWKV6, QLinAtt, Liger-GLA** 등 다양한 라인어 어텐션 모델과 비교.
**MMLU, BABILong, S-NIAH-3** 등 다운스트림 태스크에서 평가.

주요 결과

**MMLU**에서 SWA(64, 4)는 93.2% (±3.5) 달성, 평균 99.0% (±0.5).
**S-NIAH-3**에서 SWA는 20% 성능 회복, LoLCATs는 2.2%만 회복.
**BABILong**에서 SWA는 25% 성능 회복, LoLCATs는 5%만 회복.
**QRWKV6 (350-700M)** 보다 SWA가 더 높은 성능을 보임.
**LoLCATs (40M)** 보다 SWA가 86.4% 대비 93.2%로 6.8%P 높음.

의의 및 한계

SWA는 추가 학습 없이도 높은 성능을 유지하며, **추론 메모리 비용을 줄이는 데 효과적**.
라인어 어텐션 모델은 학습 비용이 높고, 하드웨어/소프트웨어 적응성이 낮은 반면, SWA는 기존 인프라에서 바로 사용 가능.
한계로는 SWA가 **어텐션 메커니즘의 표현력 제한**을 완전히 해결하지 못할 수 있으며, **극장기 문맥 처리에는 여전히 한계가 있을 수 있음**.

실용적 활용

**LLM 추론 시스템**에서 메모리 효율성을 높이려는 경우, SWA를 적용하면 추가 학습 없이도 성능을 유지할 수 있음.
**대규모 배치 추론**이나 **엣지 기기**에서 특히 유용.
**모델 포스트 트레이닝 비용 절감** 및 **빠른 성능 개선**이 필요한 산업 현장에 적합.