TabArena: A Living Benchmark for Machine Learning on Tabular Data

With the growing popularity of deep learning and foundation models for tabular data, the need for standardized and reliable benchmarks is higher than ever. However, current benchmarks are static. Their design is not updated even if flaws are discovered, model versions are updated, or new models are released. To address this, we introduce TabArena, the first continuously maintained living tabular benchmarking system. To launch TabArena, we manually curate a representative collection of datasets and well-implemented models, conduct a large-scale benchmarking study to initialize a public leaderboard, and assemble a team of experienced maintainers. Our results highlight the influence of validation method and ensembling of hyperparameter configurations to benchmark models at their full potential. While gradient-boosted trees are still strong contenders on practical tabular datasets, we observe that deep learning methods have caught up under larger time budgets with ensembling. At the same time, foundation models excel on smaller datasets. Finally, we show that ensembles across models advance the state-of-the-art in tabular machine learning. We observe that some deep learning models are overrepresented in cross-model ensembles due to validation set overfitting, and we encourage model developers to address this issue. We launch TabArena with a public leaderboard, reproducible code, and maintenance protocols to create a living benchmark available at https://tabarena.ai.

한 줄 요약

TabArena는 표 형태 데이터 기계 학습 모델을 평가하는 첫 번째 지속적으로 유지되는 라이빙 벤치마크 시스템이다.

핵심 기여도

1053개 데이터셋 중 51개를 수작업으로 선별하여 실제 표 데이터 작업을 반영.
16개 모델(3개 테이블 펀데이션 모델 포함)을 대규모 실험(약 2500만 모델 인스턴스)으로 평가.
공개 리더보드, 재현 가능한 코드, 유지 관리 프로토콜을 통해 라이빙 벤치마크 구축.
앙상블과 하이퍼파라미터 튜닝이 모델 성능에 큰 영향을 미친다는 것을 실증.

핵심 아이디어

기존 벤치마크는 설계 후 유지 관리가 부족해 최신 모델이나 데이터셋 변화에 대응하지 못한다. TabArena는 이러한 문제를 해결하기 위해 소프트웨어처럼 버전 관리되고 커뮤니티에 의해 지속적으로 업데이트되는 라이빙 벤치마크 시스템을 제안한다. 이 시스템은 표 데이터 기계 학습 모델의 신뢰성 있는 평가를 가능하게 하며, 특히 앙상블과 하이퍼파라미터 튜닝이 모델 성능 최적화에 중요한 역할을 한다는 점을 강조한다. TabM, RealMLP, AutoGluon 등 다양한 모델이 포함되어 있으며, 특히 작은 데이터셋에서는 펀데이션 모델이 우수한 성능을 보인다.

기술적 접근법

**데이터셋**: 1053개 중 51개를 수작업으로 선별.
**모델**: 16개 모델(3개 펀데이션 모델 포함)을 사용.
**실험 규모**: 약 2500만 모델 인스턴스를 학습.
**하드웨어**: CPU(AMD EPYC 9334, 8코어), GPU(NVIDIA L40S, 48GB VRAM) 사용.
**평가 설계**: 데이터셋 크기에 따라 반복 횟수 조정 (2,500 샘플 미만: 10회 반복 3겹 교차검증, 그 이상: 3회 반복).
**리더보드**: Elo 점수 시스템을 사용하여 ROC AUC, log-loss, RMSE 기준으로 모델 성능 평가.
**메타데이터**: 학습 시간, 추론 시간, 하이퍼파라미터, 하드웨어 사양, 예측 결과 등을 저장.

주요 결과

**개별 모델 최적화**: 하이퍼파라미터 튜닝과 앙상블을 통해 성능 향상.
**딥러닝 vs. 그라디언트 부스팅 트리**: 딥러닝 모델(TabM, RealMLP)이 더 긴 시간 예산과 앙상블을 통해 부스팅 트리와 유사하거나 더 우수한 성능.
**펀데이션 모델**: 작은 데이터셋에서 강력한 in-context 학습 성능을 보여 우수한 성능.
**앙상블**: 다양한 모델 간 앙상블이 표 데이터 기계 학습의 최신 기술 수준을 달성.
**AutoGluon**: 4시간 학습, best_quality 설정으로 레퍼런스 파이프라인으로 사용.

의의 및 한계

TabArena는 표 데이터 기계 학습 모델 평가의 신뢰성과 표준화를 높이는 데 기여하며, 연구자와 실무자에게 실용적인 가이드를 제공한다. 또한, 공개 리더보드와 재현 가능한 코드를 통해 커뮤니티 참여를 촉진한다. 그러나 일부 한계도 존재한다. 예를 들어, 고정된 200개의 랜덤 하이퍼파라미터 설정으로 인해 고급 최적화 전략 분석이 제한되고, 하드웨어 차이로 인한 비교 가능성 저하, 데이터셋 수의 제한 등이 있다. 또한, 특징 엔지니어링 없이 평가하기 때문에 모델 순위가 실제 상황과 다를 수 있다.

실용적 활용

TabArena는 중소 규모의 독립 동일 분포(IID) 표 데이터를 다루는 실무자에게 모델 선택과 평가에 대한 신뢰성 있는 기준을 제공한다. 또한, 연구자들이 새로운 모델과 앙상블 전략을 표준화된 환경에서 비교할 수 있도록 지원하며, 향후 다양한 표 데이터 작업(예: 비-IID, 클러스터링, 이상 탐지 등)으로 확장될 가능성이 있다.