BioMatrix: Towards a Comprehensive Biological Foundation Model Spanning the Modality Matrix of Sequences, Structures, and Language

We present BioMatrix, the first multimodal foundation model that natively integrates sequences, structures, and natural language for both molecules and proteins within a single decoder-only architecture. Existing biological foundation models pursue native multimodality and broad entity coverage separately: those that fuse multiple modalities under a shared objective remain confined to a single entity type, while those spanning multiple entity types either omit explicit structural modeling or rely on adapter-based designs in which the model cannot natively generate the very modalities it can read. BioMatrix closes this gap by mapping molecular sequences (supporting both SMILES and SELFIES notations), molecular structures, protein sequences, protein structures, and natural language into a shared discrete token space through a unified tokenization scheme, so that all modalities are consumed and produced uniformly under a single next-token prediction objective -- without external encoders, projection adapters, or modality-specific output heads. Built upon the Qwen3 language model (1.7B and 4B), BioMatrix is continually pretrained on 304.4 billion tokens spanning general and domain-specific text, sequence and structure views of molecules and proteins, and cross-modal corpora that interleave biomolecular entities with scientific text and link distinct entities through molecule-protein and protein-protein interaction data. After tuning on a comprehensive suite of downstream applications covering 80 tasks across 6 categories -- encompassing single-entity and multi-entity understanding and generation tasks across and within modalities -- BioMatrix achieves state-of-the-art or competitive performance on 77 out of 80 tasks, demonstrating that a single, natively multimodal generalist model can effectively match or surpass specialized approaches across a wide range of biological tasks.

한 줄 요약

BioMatrix는 단일 디코더 아키텍처 내에서 생물학적 데이터의 다중 모달성을 통합한 첫 번째 포괄적 기초 모델이다.

핵심 기여도

첫 번째로 분자 및 단백질의 시퀀스, 구조, 자연어를 단일 디코더 아키텍처 내에서 통합한 BioMatrix를 제시.
외부 인코더, 프로젝션 어댑터, 모달리티별 출력 헤드 없이 모든 모달리티를 공통 디스크리트 토큰 공간으로 매핑.
Qwen3 기반으로 304.4억 토큰의 데이터로 지속적으로 사전 학습.
80개의 다운스트림 태스크 중 77개에서 최상 또는 경쟁력 있는 성능 달성.

핵심 아이디어

BioMatrix는 기존 생물학적 기초 모델이 다중 모달리티와 다중 엔티티 유형을 독립적으로 다루는 한계를 극복하기 위해, 단일 디코더 아키텍처 내에서 모든 모달리티를 통합하는 새로운 접근법을 제안한다. 기존 모델은 여러 모달리티를 공유된 목적함수 하에 통합하더라도 단일 엔티티 유형에 제한되었거나, 여러 엔티티 유형을 다루더라도 구조 모델링을 생략하거나 어댑터 기반 설계에 의존했다. BioMatrix는 SMILES, SELFIES, 단백질 시퀀스, 구조, 자연어를 포함한 모든 모달리티를 공통 토큰 공간으로 매핑하여, 외부 인코더 없이도 동일한 다음 토큰 예측 목적함수 하에 처리할 수 있도록 설계되었다.

기술적 접근법

**모델 아키텍처**: 단일 디코더 기반, Qwen3 언어 모델(1.7B 및 4B 파라미터) 활용.
**토큰화**: 분자 시퀀스(SMILES, SELFIES), 구조, 단백질 시퀀스, 구조, 자연어를 공통 디스크리트 토큰 공간으로 매핑.
**학습 데이터**: 304.4억 토큰으로 구성된 데이터셋, 일반 및 도메인별 텍스트, 분자/단백질의 시퀀스 및 구조, 교차 모달리티 데이터 포함.
**학습 목적함수**: 단일 다음 토큰 예측 목적함수 사용, 외부 인코더, 어댑터, 모달리티별 헤드 없이 처리.

주요 결과

80개의 다운스트림 태스크 중 77개에서 최상 또는 경쟁력 있는 성능 달성.
단일 모델이 다양한 생물학적 태스크에서 전문 모델과 동등하거나 우수한 성능을 보임.
단일 엔티티 및 다중 엔티티 이해 및 생성 태스크에서 모두 뛰어난 성능.

의의 및 한계

BioMatrix는 생물학적 데이터의 다중 모달리티와 엔티티 유형을 단일 모델로 통합하는 데 성공함으로써, 생물학 분야에서 포괄적인 기초 모델의 가능성을 입증한다. 특히, 외부 인코더나 어댑터 없이도 다양한 모달리티를 처리할 수 있다는 점에서 기술적 혁신을 보여준다. 그러나 80개 태스크 중 3개는 기존 전문 모델에 비해 성능이 뒤처졌으며, 모델의 확장성과 특정 도메인에서의 정확도 개선이 여전히 필요한 과제이다.

실용적 활용

BioMatrix는 의약품 개발, 단백질 설계, 생물정보 분석 등 다양한 생물학 및 생명과학 연구 분야에서 활용 가능하다. 특히, 분자-단백질 상호작용 분석, 생물학적 텍스트 생성 및 해석, 다중 엔티티 기반 시뮬레이션 등에서 실용적 가치가 높다.