Advancing Open and Reproducible Relational Learning: RelArena-α, TabPFN-Rel and RPI

This first release of Prior Labs in relational learning shows our continued commitment to open science. We open-source three pieces of software that we expect to accelerate research in the field towards meaningful real-world impact. We aim to steer further development based on feedback from, and in collaboration with, the community. Given the early stage of development, our α-release targets researchers and early-adopting practitioners. Over the past years, a variety of datasets and tasks for relational learning have emerged, but the community has not converged on a reliable, reproducible way to compare different methods on these tasks. Our α-release, RelArena-α, provides a unified framework for running and comparing baselines on RelBench v1 by standardizing data loading, evaluation protocols, tuning regimes, and support for systems with custom tuning, inspired by established tabular benchmarks such as TabArena. We plan to work with the research community to further develop RelArena-α into a catalyst for progress in the relational learning community. We release the initial version of TabPFN-Rel, a purpose-built relational harness for TabPFN-3. Currently ranked first among models on RelArena-α, TabPFN-Rel makes key improvements upon RDBLearn. Beyond its ranking, TabPFN-Rel serves as a strong baseline, adding to the growing evidence that flattening a relational database into a single table remains competitive with specialized relational architectures on real-world tasks. To facilitate adoption of relational learning methods in research and industry, we release an initial α-version of our Relational Predictive Interface, RPI, an open-source, model-agnostic interface that enables early adopters to easily define problems on new databases and apply any model implemented in RelArena-α, including TabPFN-Rel, to these problems.

한 줄 요약

Prior Labs는 RelArena-α, TabPFN-Rel, RPI를 오픈소스로 발표하며 관계 학습 연구의 재현성과 비교성을 강화한다.

핵심 기여도

RelArena-α를 통해 RelBench v1 기반의 표준화된 데이터 로딩, 평가 프로토콜, 튜닝 제도를 제공.
TabPFN-Rel은 RelArena-α에서 1위 성적을 기록하며 RDBLearn을 개선한 관계 학습 모델.
RPI는 RelArena-α에 구현된 모델을 새로운 데이터베이스에 적용할 수 있는 모델-비관련 인터페이스를 제공.
관계 학습 분야에서 비교 실험의 재현성 문제를 해결하려는 첫 단계를 제시.

핵심 아이디어

관계 학습 연구는 다양한 데이터셋과 태스크가 있지만, 비교 실험의 재현성과 표준화가 부족한 상태였다. Prior Labs는 이 문제를 해결하기 위해 RelArena-α를 개발하여 데이터 로딩, 평가 프로토콜, 튜닝 제도를 표준화함으로써 연구자들이 신뢰할 수 있는 비교 환경을 제공한다. TabPFN-Rel은 TabPFN-3를 기반으로 한 관계 학습 허브로, RDBLearn을 기반으로 한 기존 모델보다 성능을 개선한 것으로, 관계형 데이터베이스를 단일 테이블로 펼치는 방식이 여전히 전문적인 관계 구조 모델과 경쟁력 있다는 점을 입증한다.

기술적 접근법

**RelArena-α**: RelBench v1 기반의 표준화된 프레임워크. 데이터 로딩, 평가 프로토콜, 튜닝 제도를 통합.
**TabPFN-Rel**: TabPFN-3 기반의 관계 학습 모델. RDBLearn 기반 모델 대비 성능 개선.
**RPI**: 모델-비관련 인터페이스. 새로운 데이터베이스에서 RelArena-α에 구현된 모델을 적용 가능.
하이퍼파라미터나 알고리즘 단계는 명시되지 않음.

주요 결과

TabPFN-Rel은 RelArena-α에서 1위를 기록하며 RDBLearn 기반 모델 대비 높은 성능을 보임.
관계형 데이터베이스를 단일 테이블로 펼치는 방식이 전문 관계 구조 모델과 비교해 실질적인 성능 차이가 없음.
RelArena-α는 연구자들이 다양한 모델을 동일한 환경에서 비교할 수 있는 기반을 제공.

의의 및 한계

RelArena-α, TabPFN-Rel, RPI의 오픈소스 배포는 관계 학습 분야에서 재현성과 비교성을 높이는 중요한 첫 단계이다. 특히, RelArena-α는 연구자들이 표준화된 환경에서 실험을 수행할 수 있게 하여 학술적 신뢰도를 높인다. 그러나 본 발표는 α-릴리스 단계이므로, 일부 기능이 미완성 상태이며, 커뮤니티 피드백을 바탕으로 지속적인 개선이 필요하다. 또한, 일부 연구자들이 기존 기준 결과를 복사하는 관행이 여전히 존재하며, 이는 비교 실험의 신뢰도를 저하시킬 수 있다.

실용적 활용

RelArena-α는 연구자들이 다양한 관계 학습 모델을 비교하고 개선할 수 있는 표준 환경을 제공한다. RPI는 산업 현장에서 새로운 데이터베이스에 모델을 쉽게 적용할 수 있게 하여, 데이터 기반 의사결정을 촉진할 수 있다. TabPFN-Rel은 실질적인 성능 개선을 보인 모델로, 데이터베이스 기반 예측 시스템 개발에 활용될 수 있다.