Network-Aware Bilinear Tokenization for Brain Functional Connectivity Representation Learning

Masked autoencoders (MAEs) have recently shown promise for self-supervised representation learning of resting-state brain functional connectivity (FC). However, a fundamental question remains unresolved: how should FC matrices be tokenized to align with the intrinsic modular organization of large-scale brain networks? Existing approaches typically adopt region-centric or graph-based schemes that treat FC as structurally homogeneous elements and overlook the large-scale network brain organization. We introduce NERVE (Network-Aware Representations of Brain Functional Connectivity via Bilinear Tokenization), a self-supervised learning framework that redefines FC tokenization by partitioning FC matrices into patches of intra- and inter-network connectivity blocks. Unlike image-based MAE, where fixed-size patches share a common tokenizer, FC patches defined by network pairs are heterogeneous in size and correspond to distinct functional roles. To resolve this problem, NERVE embeds FC patches through a novel structured bilinear factorization. This formulation preserves network identity and reduces parameter complexity from quadratic to linear scaling in the number of networks. We evaluate NERVE across three large-scale developmental cohorts (ABCD, PNC, and CCNP) for behavior and psychopathology prediction. Compared to structurally agnostic MAE variants and graph-based self-supervised baselines, the proposed network-aware formulation yields more stable and transferable representations, particularly in cross-cohort evaluation. Ablation studies confirm that the proposed bilinear network embedding and anatomically grounded parcellation are critical for performance. These findings highlight the importance of incorporating domain-specific structural priors into self-supervised learning for functional connectomics.

📋 한 줄 요약

**[Neuroscience / Self-Supervised Learning]** 뇌 기능적 연결(FC) 행렬을 뇌 네트워크 구조에 맞춰 intra-/inter-network 블록 패치로 토큰화하고 bilinear factorization으로 임베딩하는 자기지도 학습 프레임워크 NERVE를 제안한다.

🎯 핵심 기여도

MAE 기반 FC 표현 학습에서 "FC를 어떻게 토큰화해야 대규모 뇌 네트워크의 모듈 구조와 정렬되는가"라는 미해결 문제를 제기
영역 중심·그래프 기반 토큰화가 FC를 구조적으로 균일하게 취급해 네트워크 조직을 놓친다는 점을 지적
FC 행렬을 네트워크 쌍에 따라 intra-/inter-network 연결 블록 패치로 분할하는 새로운 토큰화 스킴 도입
패치 크기가 이질적인 점을 해결하기 위해 structured bilinear factorization으로 패치를 임베딩, 파라미터 복잡도를 네트워크 수에 대한 이차→선형으로 축소

💡 핵심 아이디어

뇌의 FC는 픽셀처럼 균일한 데이터가 아니라, 모듈러 네트워크 구조에 따른 의미 단위의 블록들의 집합이다. 따라서 토큰화·임베딩 단계에서부터 네트워크 정체성과 기능적 역할을 보존해야 더 안정적이고 전이 가능한 표현을 얻을 수 있다.

🔬 기술적 접근법

**모델/방법론**: Masked Autoencoder 패러다임 위에 뇌 네트워크 인식 토큰화를 결합한 NERVE 자기지도 학습 프레임워크
**핵심 기법**: 네트워크 쌍별 intra-/inter-network 패치 분할, 패치 크기 이질성을 흡수하는 structured bilinear factorization, 그리고 해부학적 parcellation 기반 prior

📊 주요 결과

ABCD, PNC, CCNP 세 발달 코호트에서 행동·정신병리 예측에 대해 평가, 특히 cross-cohort에서 더 안정적이고 전이 가능한 표현
구조 무시 MAE 변종과 그래프 기반 자기지도 베이스라인 대비 일관된 성능 우위
ablation에서 bilinear network embedding과 해부학 기반 parcellation이 성능에 핵심임을 확인

💭 의의 및 한계

**의의**: 자기지도 학습에 도메인 구조 prior를 어떻게 반영해야 하는지를 functional connectomics에서 모범적으로 보여줌. **한계**: 사용된 코호트가 발달기 데이터에 집중, 임상 적용을 위해서는 추가적 외부 검증과 안전성 평가 필요.

🚀 실용적 활용

아동·청소년 정신건강 예측 모델 개발
다기관 fMRI 데이터의 통합·전이 학습 기반 마련
다른 도메인(분자 그래프, 사회 네트워크)에서의 모듈 인식 토큰화 설계 참고