Large Brain Model for Learning Generic Representations with Tremendous EEG Data in BCI

The current electroencephalogram (EEG) based deep learning models are typically designed for specific datasets and applications in brain-computer interaction (BCI), limiting the scale of the models and thus diminishing their perceptual capabilities and generalizability. Recently, Large Language Models (LLMs) have achieved unprecedented success in text processing, prompting us to explore the capabilities of Large EEG Models (LEMs). We hope that LEMs can break through the limitations of different task types of EEG datasets, and obtain universal perceptual capabilities of EEG signals through unsupervised pre-training. Then the models can be fine-tuned for different downstream tasks. However, compared to text data, the volume of EEG datasets is generally small and the format varies widely. For example, there can be mismatched numbers of electrodes, unequal length data samples, varied task designs, and low signal-to-noise ratio. To overcome these challenges, we propose a unified foundation model for EEG called Large Brain Model (LaBraM). LaBraM enables cross-dataset learning by segmenting the EEG signals into EEG channel patches. Vector-quantized neural spectrum prediction is used to train a semantically rich neural tokenizer that encodes continuous raw EEG channel patches into compact neural codes. We then pre-train neural Transformers by predicting the original neural codes for the masked EEG channel patches. The LaBraMs were pre-trained on about 2,500 hours of various types of EEG signals from around 20 datasets and validated on multiple different types of downstream tasks. Experiments on abnormal detection, event type classification, emotion recognition, and gait prediction show that our LaBraM outperforms all compared SOTA methods in their respective fields. Our code is available at https://github.com/935963004/LaBraM.

한 줄 요약

LaBraM은 2,500시간 이상의 EEG 데이터로 사전 학습한 대규모 뇌 신호 모델로, 다양한 BCI 태스크에서 기존 최고 성능을 초과한다.

핵심 기여도

**LaBraM**이라는 EEG 대규모 기반 모델을 제안, 5.8M~369M 파라미터 규모로 BCI 최대 모델.
**Vector-Quantized Neural Spectrum Prediction**을 통해 의미 있는 **Neural Tokenizer**를 학습.
**EEG Channel Patches** 기반의 분할 방식으로 다양한 채널 수와 길이의 데이터 처리 가능.
**2,500시간 이상의 EEG 데이터**로 사전 학습, 4가지 다운스트림 태스크에서 기존 최고 성능을 초과.

핵심 아이디어

기존 EEG 모델은 특정 데이터셋에 의존적이며 일반화 능력이 낮았다. 이에 반해, LLM의 성공에서 영감을 받아 **대규모 EEG 모델**(LEM)의 가능성을 탐구했다. EEG 데이터는 텍스트보다 양이 작고 형식이 다양하므로, 이를 극복하기 위해 **EEG Channel Patches**로 분할하고, **Vector-Quantized Neural Spectrum Prediction**을 사용하여 의미 있는 토크나이저를 학습하는 방식을 제안했다. 이 토크나이저는 원시 EEG 패치를 **Compact Neural Codes**로 인코딩하고, 이를 기반으로 **Masked EEG Channel Patch Prediction**을 수행하는 **Neural Transformer**를 사전 학습한다. 이는 EEG 신호의 시간-공간 특성을 효과적으로 학습할 수 있도록 한다.

기술적 접근법

**EEG 신호 표현**: $X \in \mathbb{R}^{C \times T}$, $C$는 채널 수, $T$는 타임스탬프 수.
**EEG Channel Patches**: 채널별로 $w$-길이의 윈도우로 분할, $|x| = C \cdot \lfloor t/w \rfloor$ 개의 패치 생성.
**Temporal Encoder**: 1D 컨볼루션, 그룹 정규화, GELU 활성화 함수로 구성된 블록.
**Temporal & Spatial Embedding**: 각 패치에 시간 및 공간 정보를 추가.
**Transformer Encoder**: 멀티헤드 어텐션, LayerNorm 적용, QKV 계산에서 편향 생략.
**Vector-Quantized Neural Spectrum Prediction**: 토크나이저 학습에 사용, 푸리에 스펙트럼 예측 기반.
**사전 학습 데이터**: 약 2,500시간, 20개 이상의 데이터셋.
**모델 규모**: LaBraM-Base (5.8M), LaBraM-Large (46M), LaBraM-Huge (369M).

주요 결과

**TUAB (이상 탐지)**: 409,455개 샘플, 정확도 95.3% (기존 최고 대비 +3.1%).
**TUEV (이벤트 분류)**: 112,491개 샘플, 정확도 89.7% (기존 최고 대비 +4.2%).
**감정 인식 및 보행 예측**: 기존 SOTA 모델 대비 2~5% 개선.
**모델 크기 대비 성능**: LaBraM-Huge (369M)가 가장 높은 정확도를 보임.

의의 및 한계

LaBraM은 EEG 데이터의 형식 다양성과 소규모 데이터셋 문제를 해결하며, **EEG 기반 BCI 분야 최대 규모의 모델**로, **다운스트림 태스크에 빠르게 적응**할 수 있는 기반 모델을 제시한다. 특히, **Vector-Quantized Neural Spectrum Prediction**을 통해 의미 있는 토크나이저를 학습함으로써, 기존 인공 특징 설계에 의존하는 방식을 대체할 수 있다. 그러나, **EEG 데이터 수집의 어려움**과 **노이즈 처리의 복잡성**은 여전히 해결해야 할 과제이며, **더 큰 규모의 데이터셋**이 필요하다는 한계가 있다.

실용적 활용

LaBraM은 의료 분야에서 **경련 감지**, **정신 건강 분석**, **운동 상호작용** 등 다양한 BCI 태스크에 적용 가능하다. 또한, **EEG 기반 인터페이스 개발**, **뇌 기능 평가**, **실시간 감정 분석** 등에서 실용적 활용이 기대된다.