xLSTM: Extended Long Short-Term Memory

In the 1990s, the constant error carousel and gating were introduced as the central ideas of the Long Short-Term Memory (LSTM). Since then, LSTMs have stood the test of time and contributed to numerous deep learning success stories, in particular they constituted the first Large Language Models (LLMs). However, the advent of the Transformer technology with parallelizable self-attention at its core marked the dawn of a new era, outpacing LSTMs at scale. We now raise a simple question: How far do we get in language modeling when scaling LSTMs to billions of parameters, leveraging the latest techniques from modern LLMs, but mitigating known limitations of LSTMs? Firstly, we introduce exponential gating with appropriate normalization and stabilization techniques. Secondly, we modify the LSTM memory structure, obtaining: (i) sLSTM with a scalar memory, a scalar update, and new memory mixing, (ii) mLSTM that is fully parallelizable with a matrix memory and a covariance update rule. Integrating these LSTM extensions into residual block backbones yields xLSTM blocks that are then residually stacked into xLSTM architectures. Exponential gating and modified memory structures boost xLSTM capabilities to perform favorably when compared to state-of-the-art Transformers and State Space Models, both in performance and scaling.

한 줄 요약

xLSTM은 LSTM을 확장한 새로운 아키텍처로, Transformer와 경쟁할 수 있는 성능을 보인다.

핵심 기여도

지수 게이팅(exponential gating)과 정규화 기법을 도입하여 LSTM의 안정성을 향상.
sLSTM과 mLSTM이라는 두 가지 새로운 메모리 구조를 제안.
xLSTM 블록을 잔차 연결(residual block) 방식으로 구성하여 확장 가능성을 확보.
기존 Transformer 및 State Space Models 대비 유사 또는 우수한 성능을 보임.

핵심 아이디어

기존 LSTM은 메모리 관리와 계산 효율성 측면에서 한계가 있었다. xLSTM은 이 문제를 해결하기 위해 메모리 구조와 게이팅 메커니즘을 재설계했다. 특히, 지수 게이팅은 메모리 업데이트 시 더 큰 범위의 값을 표현할 수 있게 하며, 메모리 안정성을 높인다. sLSTM은 스칼라 메모리와 새로운 업데이트 방식을 도입하여 정확도를 향상시키고, mLSTM은 행렬 기반 메모리와 공분산 업데이트를 통해 병렬 처리가 가능하다. 이 두 모듈은 잔차 연결 구조에 통합되어 xLSTM 아키텍처를 형성한다.

기술적 접근법

**지수 게이팅**: 메모리 업데이트 시 활성화 함수로 지수 함수를 사용.
**sLSTM**: 스칼라 메모리와 새로운 업데이트 방식을 도입.
**mLSTM**: 행렬 메모리와 공분산 기반 업데이트를 사용하여 병렬 처리 가능.
**잔차 연결**: xLSTM 블록을 잔차 방식으로 쌓아 전체 모델을 구성.
**하이퍼파라미터**: 명시되지 않음.

주요 결과

xLSTM은 기존 Transformer 및 State Space Models 대비 유사하거나 더 우수한 성능을 보임.
성능 향상 폭은 명시되지 않음.
대규모 언어 모델링에서 LSTM의 한계를 극복한 사례를 제시.

의의 및 한계

xLSTM은 LSTM의 장점을 유지하면서 현대적 LLM 기술을 결합함으로써, Transformer와의 경쟁 구도에 새로운 가능성을 제시한다. 특히, 메모리 구조와 게이팅 메커니즘의 혁신은 RNN 계열 모델의 재조명을 유도할 수 있다. 그러나 초록에서는 구체적인 성능 수치나 벤치마크 실험 결과가 명시되지 않아, 실제 적용 가능성에 대한 명확한 평가가 어렵다.

실용적 활용

xLSTM은 대규모 언어 모델링, 시계열 분석, 음성 처리 등에서 활용 가능하며, 병렬 처리가 필요한 산업 분야에서 기존 Transformer 대안으로 사용될 수 있다.