LimiX-2: A Contextual Mechanism Network Towards General Structured-Data Intelligence
Xingxuan Zhang, Gang Ren, Hao Yuan, Hao Zou, Hongze Tan, Hui Wang, Jianhao Song, Jiansheng Li, Jiayao Zhang, Jinghan Zhang, Kaifang Li, Lang Mo, Li Mao, Mingchao Hao, Nuo Xu, Rui Ding, Ruiji Zhang, Shuyang Li, Siyu Mei, Tianyang Zhang, Weiyang Mu, Yancheng Dong, Yongxian Wei, Yuan Xue, Yuanrui Wang, Yue He, Zijia Yang, Ziyun Li, Dongzhe Li, Fuqiang Wang, Jiandong Liu, Jiawei Chen, Jiaxin Du, Kaijie Cheng, Kehan Li, Lei Sun, Linjun Zhou, Ningbo Dai, Qi Wang, Renzhe Xu, Shaoxing Du, Shumeng Yang, Wang Lu, Wenjing Chu, Xiannan Huang, Xiaoyu Lin, Xing Ai, Xinyan Han, Xuanyue Li, Xuanyue Su, Xukun Zhang, Yan Lu, Yaxin Zhang, Yi Qin, Yifei Huang, Yihan Xu, Yongle Lv, Yuanyuan Jiang, Yushan Han, Peng Cui
arXiv:2609.17488 · 2026-09-17 공개 · arXiv · PDF
tabular-data synthetic-datasets tabarena structured-data masking-modeling talent bcco contextual-mechanism-networks
Abstract
We introduce LimiX-2, a new model in the LimiX family, developed through model and data scaling guided by our previously established scaling laws. LimiX-2 adopts the Contextual Mechanism Networks (CMNs) paradigm and is pretrained with Context-Conditional Masked Modeling (CCMM). CMNs shifts the organizing principle of in-context learning from target-centric prediction to mechanism-oriented joint modeling. Rather than centering the network on the p(y mid x, D_{context}) objective of conventional tabular PFNs, it is designed around learning p(x, y mid D_{context}), a context-dependent representation of the joint structure underlying data generation. Pretraining uses synthetic datasets generated by structural causal models (SCMs) spanning diverse graph structures, functional mechanisms, and observation processes. Evaluations on TabArena, TALENT, and BCCO show that LimiX-2 outperforms current dataset-specific models and tabular foundation models. Beyond predictive performance, the CMN paradigm also promotes causal awareness in LimiX-2: its feature attention encodes direct causal relationships, enabling accurate causal skeleton recovery.
한국어 요약
한 줄 요약
LimiX-2는 Contextual Mechanism Networks(CMNs)를 기반으로, CCMM을 통해 학습된 다목적 테이블 데이터 지능 모델로, TabArena, TALENT, BCCO에서 기존 모델을 상회하며 인과성도 반영한다.
핵심 기여도
- Contextual Mechanism Networks(CMNs)를 도입하여 기존 PFN의 타겟 중심 예측에서 벗어나, 변수 간 결합 구조를 학습하는 방식으로 전환.
- Context-Conditional Masked Modeling(CCMM)을 통해 타겟 예측과 피처 재구성을 통합한 학습 프레임워크 제시.
- SCM 기반의 합성 데이터셋을 사용한 프리트레이닝으로, LimiX-2는 TabArena, TALENT, BCCO에서 기존 모델 대비 4배 작으면서도 성능 우수함.
- 인과 구조 복원(Causal Skeleton Recovery)에서 기존 인과 발견 모델 및 트리 기반 피처 중요도 방법을 상회.
핵심 아이디어
기존 PFN(Prior-Fitted Networks)은 주로 $ p(y \mid x, D_{\text{context}}) $를 학습하는 방식으로, 단일 타겟 예측에 집중된다. 이에 반해, LimiX-2는 CMNs를 도입하여 $ p(x, y \mid D_{\text{context}}) $를 학습함으로써, 데이터 생성 과정의 결합 구조를 모델링한다. 이는 변수 간의 상호작용과 인과 관계를 더 정확하게 포착할 수 있게 한다. CCMM은 다양한 관측 패턴 하에서 타겟 예측과 피처 재구성을 동시에 수행하도록 설계되어, 조건부 추론을 학습 목표로 삼는다. 이는 단순 예측을 넘어, 결측치 보완 및 인과 추론까지 가능하게 하는 통합적 프레임워크를 구축한다.
기술적 접근법
- **모델 아키텍처**: LimiX-2는 이전 세대와 마찬가지로 cell-level representation을 사용하며, 각 셀을 독립적으로 인코딩하여 변수 간 조건부 추론을 지원.
- **트랜스포머 기반 이중 축 구조**: feature-axis와 sample-axis로 나뉜 트랜스포머 블록을 사용. feature-axis는 행 내 변수 관계를, sample-axis는 컨텍스트 샘플을 기반으로 현재 테이블의 prior를 형성.
- **프리트레이닝 데이터**: SCM(Structural Causal Models) 기반의 합성 데이터셋을 사용. 다양한 그래프 구조, 함수적 메커니즘, 관측 과정을 포함.
- **학습 알고리즘**: Context-Conditional Masked Modeling(CCMM)을 사용. 타겟 예측과 피처 재구성을 통합하여, 다양한 관측 패턴에서의 조건부 추론을 학습 목표로 삼음.
주요 결과
- **TabArena, TALENT, BCCO**에서 기존 데이터셋별 모델 및 탭러 학습 기반 모델(TabFM 등)을 상회.
- LimiX-2는 TabFM 대비 **4배 작으면서도 성능 우수**.
- 인과 구조 복원(Causal Skeleton Recovery) 평가에서, 트리 기반 피처 중요도 방법 및 전용 인과 발견 모델을 상회.
- 단일 모델로 분류, 회귀, 결측치 보완, 인과 추론을 수행 가능.
의의 및 한계
LimiX-2는 테이블 데이터를 다루는 기존 모델의 한계를 극복하고, 다양한 추론 태스크를 통합적으로 처리할 수 있는 새로운 패러다임(CMNs)을 제시한다. 특히, 인과 구조를 학습하여 인과 추론 능력을 갖춘 점은 기존 모델과 차별화된다. 그러나 학습 데이터가 SCM 기반의 합성 데이터셋에 의존하므로, 실제 데이터셋에서의 일반화 능력은 추가 실험을 통해 검증이 필요하다. 또한, 모델의 cell-level representation은 계산 비용을 증가시키는 요소로, 대규모 데이터셋 처리 시 성능 저하가 발생할 수 있다.
실용적 활용
LimiX-2는 의료, 금융, 과학 분야의 테이블 데이터를 기반으로 한 예측 및 의사결정 시스템에 적용 가능하다. 특히, 결측치가 많은 데이터셋이나 인과 관계를 파악해야 하는 상황에서 유용하며, 데이터셋별 모델 학습 없이도 다양한 태스크를 수행할 수 있어, 빠른 모델 개발과 유지보수를 지원한다.