Adapting prior-data fitted networks for tabular anomaly detection

While deep features have transformed anomaly detection in images and video, their impact on tabular data has been less substantial, partly due to the limited availability of strong deep representations. Recently, prior-data fitted networks (PFNs) have emerged as a promising source of such representations for tabular data. In this work, we investigate how PFN representations can be adapted and leveraged for anomaly detection. The question is harder than it looks. No anomalies are available before deploy- ment, so model parameters cannot be tuned with supervision, and the reference set that defines normal behavior may itself contain the very anomalies it is supposed to reveal. We begin our study using frozen TabPFN features. Scoring each sam- ple by its distance to its nearest neighbors in feature space already gives strong results. We identify which layers to use and a feature-extraction procedure suited to the task. Next, to further improve performance, we use the reference set to fine- tune the model, so that the resulting features better separate normal samples from anomalies. On the ADBench benchmark, our fine-tuning free approach (ZEN) reaches a higher mean AUROC than every baseline, and our fine-tuned method (FOCUS) improves on it further. Our approach also generalizes across PFN models.

한 줄 요약

TabPFN 기반의 사전 학습 모델을 적응시켜 탭류 데이터 이상 탐지를 개선하는 방법을 제안한다.

핵심 기여도

**ZEN** (Zero-training Embedding Neighbors): 가중치를 고정한 TabPFN 임베딩 공간에서 최근접 이웃 거리 기반의 이상 점수를 계산.
**FOCUS** (Fine-tuned One-Class Unsupervised Scoring): ZEN 기반으로 모델을 미세 조정하여 정상과 이상을 더 잘 구분.
ADBench 벤치마크에서 ZEN은 모든 기존 기법보다 높은 **평균 AUROC** 달성, FOCUS는 ZEN보다 더 높은 성능.
제안된 방법은 TabPFN 외에도 다른 PFN 모델에도 일반화 가능.

핵심 아이디어

기존 탭류 데이터 이상 탐지는 강력한 딥러닝 표현이 부족해 성능이 제한적이었다. 최근 등장한 **Prior-Data Fitted Networks (PFNs)**, 특히 **TabPFN**,은 탭류 데이터에 대한 강력한 표현을 제공하지만, 이상 탐지에 직접 학습된 모델은 아니다. 이 연구는 PFN의 임베딩을 활용하여 이상 탐지를 수행하는 새로운 접근법을 제시한다.

**ZEN**은 가중치를 고정한 상태에서 임베딩 공간 내 최근접 이웃 거리를 기반으로 이상 점수를 산출하며, 이는 기존 기법보다 뛰어난 성능을 보인다. **FOCUS**는 ZEN의 결과를 기반으로 모델을 미세 조정하여 정상과 이상을 더 잘 분리하도록 한다. 이는 PFN의 임베딩이 이상 탐지에 유용한 정보를 담고 있음을 시사한다.

기술적 접근법

**TabPFN** 모델의 임베딩을 사용.
**ZEN**: 가중치를 고정하고, 임베딩 공간에서 최근접 이웃 거리 기반의 이상 점수를 계산.
**FOCUS**: ZEN의 결과를 바탕으로 모델을 미세 조정하여 정상과 이상을 구분하는 능력을 향상.
**특징 추출 절차**: 임의의 특징 서브셋을 사용한 임베딩 생성.
**신뢰 가중치**: 참조 집합 내 샘플의 신뢰도를 반영하여 점수 계산.
**하이퍼파라미터**: 특징 서브셋 크기, 최근접 이웃 수 등은 실험적으로 결정.

주요 결과

**ADBench** 벤치마크에서 ZEN은 모든 기존 기법보다 높은 **평균 AUROC** 달성.
FOCUS는 ZEN보다 **더 높은 AUROC**를 기록.
FOCUS는 **정화된**(clean) 및 **오염된**(contaminated) 데이터셋 모두에서 **기존 기법 대비 5% 이상 개선**.
ZEN과 FOCUS는 TabPFN 외에도 다른 PFN 모델에도 적용 가능.

의의 및 한계

PFN 모델이 이상 탐지에 유용한 임베딩을 제공함을 입증.
ZEN과 FOCUS는 사전 학습된 모델을 조정 없이 바로 활용 가능, 이는 빠른 배포와 유지보수에 유리.
한계로는 PFN이 이상 탐지를 위한 목표로 학습되지 않았기 때문에, 일부 복잡한 이상 패턴에 대한 감지 능력이 제한될 수 있음.

실용적 활용

금융 분야의 사기 거래 탐지, 의료 데이터 이상 감지, 네트워크 보안 모니터링 등에서 활용 가능.
PFN 기반 모델이 이미 학습되어 있으므로, 새로운 탭류 데이터셋에 빠르게 적용 가능.
기존 기법 대비 높은 성능과 일반화 능력을 통해 산업 현장에서 즉각적인 도입이 유망.