TabICL: A Tabular Foundation Model for In-Context Learning on Large Data

The long-standing dominance of gradient-boosted decision trees on tabular data is currently challenged by tabular foundation models using In-Context Learning (ICL): setting the training data as context for the test data and predicting in a single forward pass without parameter updates. While TabPFNv2 foundation model excels on tables with up to 10K samples, its alternating column- and row-wise attentions make handling large training sets computationally prohibitive. So, can ICL be effectively scaled and deliver a benefit for larger tables? We introduce TabICL, a tabular foundation model for classification, pretrained on synthetic datasets with up to 60K samples and capable of handling 500K samples on affordable resources. This is enabled by a novel two-stage architecture: a column-then-row attention mechanism to build fixed-dimensional embeddings of rows, followed by a transformer for efficient ICL. Across 200 classification datasets from the TALENT benchmark, TabICL is on par with TabPFNv2 while being systematically faster (up to 10 times), and significantly outperforms all other approaches. On 53 datasets with over 10K samples, TabICL surpasses both TabPFNv2 and CatBoost, demonstrating the potential of ICL for large data. Pretraining code, inference code, and pre-trained models are available at https://github.com/soda-inria/tabicl.

한 줄 요약

TabICL은 대규모 테이블 데이터 처리를 위한 ICL 기반 탭러블 펀다멘탈 모델로, 500K 샘플 처리가 가능하며 기존 모델 대비 최대 10배 빠르다.

핵심 기여도

TabICL은 60K 샘플까지 학습된 합성 데이터셋에서 사전 학습되어 500K 샘플 처리 가능.
Column-then-row attention 기반의 2단계 아키텍처를 도입하여 ICL 효율성 향상.
TALENT 벤치마크 200개 데이터셋에서 TabPFNv2와 동등한 성능, 53개 대규모 데이터셋에서 CatBoost와 TabPFNv2를 초과.
최대 10배 빠른 추론 속도로 기존 모델 대비 실용성 향상.

핵심 아이디어

TabICL은 기존 TabPFNv2의 column-row alternating attention 방식의 계산 복잡도 문제를 해결하기 위해, column-then-row attention이라는 새로운 2단계 아키텍처를 제안한다. 첫 번째 단계에서는 Set Transformer를 활용한 column-wise attention을 통해 각 열의 분포 정보를 고정 차원의 임베딩으로 압축한다. 이는 행 단위로 처리 시 필요한 계산량을 줄이는 핵심 전략이다. 두 번째 단계에서는 행 단위의 임베딩을 Transformer로 처리하여 ICL을 수행한다. 이 방식은 테이블의 구조적 특성을 강한 인덕티브 바이어스로 활용하여, 효율적인 ICL이 가능하다. 특히, Set Transformer는 permutation-invariant한 방식으로 각 열의 셀 값을 집합으로 처리하여, 분포 기반의 메타데이터를 효과적으로 추출한다.

기술적 접근법

**2단계 아키텍처**: column-wise attention (Set Transformer) → row-wise attention (Transformer).
**Set Transformer**: 각 열의 셀 값을 집합으로 처리, 분포 정보를 임베딩.
**[CLS] 토큰 활용**: 행 단위 임베딩을 하나의 벡터로 집계.
**사전 학습 데이터**: 최대 60K 샘플의 합성 데이터셋.
**처리 가능한 데이터 크기**: 최대 500K 샘플, 500개 피처.
**하이퍼파라미터 튜닝 없이도 뛰어난 성능**.

주요 결과

TALENT 벤치마크 200개 분류 데이터셋에서 TabPFNv2와 동등한 성능, 최대 10배 빠른 추론 속도.
10K 샘플 이상의 53개 데이터셋에서 TabPFNv2와 CatBoost를 모두 초과.
500K 샘플 처리 가능, 기존 TabPFNv2 대비 확장성 향상.

의의 및 한계

TabICL은 ICL 기반의 탭러블 펀다멘탈 모델의 확장성을 획기적으로 향상시켰으며, 대규모 테이블 데이터 처리에서 기존 트리 기반 모델과 경쟁력을 갖춘다. 특히, Set Transformer와 column-then-row attention의 조합은 테이블의 구조적 특성을 효과적으로 활용하는 새로운 접근법을 제시한다. 그러나, 모델의 학습은 합성 데이터셋에 의존적이며, 실제 산업 데이터에 대한 일반화 능력은 추가 실험을 통해 검증이 필요하다. 또한, ICL 방식은 매번 전체 훈련 데이터를 포함하여 추론해야 하므로, 메모리 효율성 측면에서 한계가 있을 수 있다.

실용적 활용

TabICL은 헬스케어, 금융 등 대규모 테이블 데이터를 다루는 산업에서 실시간 분류 작업에 적용 가능하다. 특히, 하이퍼파라미터 튜닝 없이도 빠른 추론이 가능하므로, MLOps 환경에서 모델 배포 효율성을 높이는 데 유용하다.