Caduceus: Bi-Directional Equivariant Long-Range DNA Sequence Modeling

Large-scale sequence modeling has sparked rapid advances that now extend into biology and genomics. However, modeling genomic sequences introduces challenges such as the need to model long-range token interactions, the effects of upstream and downstream regions of the genome, and the reverse complementarity (RC) of DNA Here, we propose an architecture motivated by these challenges that builds off the long-range Mamba block, and extends it to a BiMamba component that supports bi-directionality, and to a MambaDNA block that additionally supports RC equivariance. We use MambaDNA as the basis of Caduceus, the first family of RC equivariant bi-directional long-range DNA language models, and we introduce pre-training and fine-tuning strategies that yield Caduceus DNA foundation models. Caduceus outperforms previous long-range models on downstream benchmarks; on a challenging long-range variant effect prediction task, Caduceus exceeds the performance of 10x larger models that do not leverage bi-directionality or equivariance. Code to reproduce our experiments is available here.

한 줄 요약

Caduceus는 DNA 역보완성과 양방향성을 고려한 최초의 대규모 DNA 시퀀스 모델이다.

핵심 기여도

**BiMamba** 모듈을 도입하여 양방향 시퀀스 처리를 가능하게 함.
**MambaDNA** 블록을 통해 DNA의 역보완성(RC equivariance)을 모델링.
**Caduceus-PS** 모델은 RC equivariance를 LM pre-training에 최초로 적용.
**10배 이상 큰 Transformer 모델**보다도 성능 우수함 (특히 long-range variant effect prediction에서).

핵심 아이디어

DNA 시퀀스 모델링은 단순한 언어 모델링과 달리, 업스트림/다운스트림 영역의 상호작용, 역보완성, 그리고 수만~수백만 베이스 쌍에 걸친 장거리 의존성을 고려해야 한다. 기존의 Transformer나 Hyena 기반 모델은 이러한 특성을 효과적으로 처리하지 못한다. Caduceus는 **Mamba 블록**을 기반으로, 이를 **BiMamba**와 **MambaDNA**로 확장하여, **양방향성**과 **역보완성**을 동시에 처리하는 새로운 아키텍처를 제안한다. 특히, **RC equivariance**는 DNA의 두 가닥이 동일한 정보를 담고 있음을 반영하여, 모델이 한 가닥을 학습하면 다른 가닥도 자동으로 처리할 수 있도록 한다.

기술적 접근법

**BiMamba**: Mamba 블록을 양방향으로 확장한 모듈.
**MambaDNA**: BiMamba를 기반으로, RC equivariance를 추가한 블록.
**RC equivariant token embedding**: one-hot 벡터를 D/2 차원으로 사영하며, 채널을 반전하는 방식으로 RC equivariance를 구현.
**RC equivariant language model head**: 최종 출력에서 A-T, C-G 대응 관계를 유지하도록 설계.
**Pre-training & fine-tuning 전략**: 다양한 유전체학적 예측 작업에 적용 가능한 foundation model 구축.

주요 결과

**Long-range variant effect prediction** 작업에서, 10배 이상 큰 Transformer 모델보다 성능 우수.
**Caduceus-PS**는 RC equivariance를 LM pre-training에 최초로 적용한 모델로, 예측 결과가 역보완 시퀀스에서도 일관됨.
**Hyena 기반 uni-directional 모델**보다도 성능이 뛰어남.
**유전자의 발현 영향 예측** 작업에서, 진화적 압력(예: 보존, 공진화)을 학습하여 높은 예측 정확도 달성.

의의 및 한계

Caduceus는 DNA 시퀀스의 고유한 특성(역보완성, 양방향성, 장거리 의존성)을 모두 반영한 첫 번째 모델로, 유전체학 분야에서의 모델링 정확도를 크게 향상시킬 수 있다. 특히, **RC equivariance**는 기존 모델들이 무시했던 중요한 생물학적 정보를 활용하는 데 기여한다. 그러나, **수백만 베이스 쌍 길이의 시퀀스 처리**는 여전히 계산 비용이 높으며, **다양한 유전체 유형**(예: 비인코딩 영역, 비인코딩 RNA)에 대한 일반화 능력은 추가 연구가 필요하다.

실용적 활용

Caduceus는 유전자의 발현 영향 예측, 비인코딩 영역 기능 해석, 유전적 변이의 병리학적 영향 분석 등 **유전체학 연구**에 널리 활용될 수 있다. 또한, **의약품 개발** 및 **개인 맞춤형 의학**(precision medicine) 분야에서 유전적 변이의 임상적 영향을 예측하는 데 유용할 것으로 기대된다.