A Systematic Failure Analysis of Vision Foundation Models for Open Set Iris Presentation Attack Detection

Vision foundation models have demonstrated strong transferability across diverse visual recognition tasks and are increasingly considered for biometric applications. Their suitability for iris Presentation Attack Detection (PAD), particularly under realistic open-set operating conditions, remains insufficiently examined. This work presents a systematic failure analysis of general-purpose vision foundation models for open-set iris PAD using periocular imagery. Five representative foundation models are evaluated under three open-set protocols that explicitly separate different sources of distribution shift: unseen Presentation Attack Instruments (PAIs), unseen datasets captured with different sensors and cross-spectral transfer from near-infrared (NIR) to visible spectrum (VIS) imagery. Both frozen feature representations and parameter-efficient task adaptation using Low-Rank Adaptation (LoRA) are assessed within a unified experimental framework. The results indicate that foundation models can transfer across datasets with similar sensing characteristics, but fail to generalise reliably to unseen attack instruments and degrade sharply under cross-spectral evaluation. While LoRA improves performance in certain cross-dataset settings, it frequently amplifies failure under attack-level and spectral shifts. Additional validation experiments using segmented iris inputs, full backbone fine-tuning, joint cross-dataset and cross-PAI shifts, and reverse VIS to NIR transfer further confirm that these failures are not simply artefacts of periocular input, weak adaptation, or one-directional spectral evaluation. These findings show that strong closed-set or cross-dataset performance should not be treated as evidence of robust open-set security, and highlight the need for PAD representations that maintain sensitivity to presentation artefacts while remaining stable under realistic deployment variation.

한 줄 요약

**[홍채 위변조 탐지 / 비전 파운데이션 모델 견고성]** 개방 집합(open-set) 운영 조건에서 일반 목적 비전 파운데이션 모델 5종이 홍채 Presentation Attack Detection(PAD)에 얼마나 일반화되는지 체계적으로 진단한 실패 분석 연구.

핵심 기여도

비전 파운데이션 모델의 강한 전이성에도 불구하고 홍채 PAD라는 생체 보안 도메인, 특히 현실적 개방 집합 조건에서의 적합성이 충분히 검증되지 않았다는 공백을 정의함.
미관측 Presentation Attack Instrument(PAI), 미관측 데이터셋(다른 센서), 근적외선(NIR) → 가시광(VIS) 교차 스펙트럼 전이라는 분포 변화 원인을 명시적으로 분리하는 3가지 개방 집합 프로토콜 설계.
동일한 실험 프레임워크 내에서 frozen feature 표현과 LoRA 기반 파라미터 효율 적응을 동시에 평가.
분할된 홍채 입력, 전체 백본 fine-tuning, cross-dataset + cross-PAI 결합 변화, 역방향 VIS→NIR 전이 등 추가 검증을 통해 실패가 입력·적응·평가 방향의 인공물(artefact)이 아님을 입증.

핵심 아이디어

"closed-set 또는 cross-dataset 성능이 좋다"는 사실이 실제 배포에서의 "open-set 보안 견고성"을 보장하지 않는다는 점을 정량적으로 드러내고, PAD 표현은 제시 아티팩트(presentation artefact)에 대한 민감도를 유지하면서도 배포 변동에 안정해야 함을 강조.

기술적 접근법

**모델/방법론**: 5개의 대표 비전 파운데이션 모델을 동일 프로토콜로 홍채 PAD에 평가, periocular(눈 주변) 이미지 기반.
**핵심 기법**: 3가지 open-set 프로토콜(미관측 PAI / 미관측 데이터셋 / NIR↔VIS 교차 스펙트럼), frozen feature + LoRA 적응 동시 비교, 분할 홍채·풀 백본 fine-tuning·결합 변화·역방향 전이를 포함한 통제 검증 실험.

주요 결과

파운데이션 모델은 유사한 센싱 특성을 가진 데이터셋 간에는 전이가 가능하나, 미관측 공격 도구 일반화에 실패하고 교차 스펙트럼 평가에서는 급격히 성능이 떨어짐.
LoRA는 일부 cross-dataset 상황에서 성능을 개선하지만, 공격 수준·스펙트럼 변화에서는 오히려 실패를 증폭시키는 경향이 빈번함.
다양한 보강 실험에서 동일한 실패 패턴이 확인되어, 결과가 특정 실험 설정의 부작용이 아님이 검증됨.

의의 및 한계

**의의**: 생체 인식·보안 분야에서 파운데이션 모델 도입을 고려하는 실무자에게 closed-set 평가에 의존한 채택이 위험하다는 명확한 진단을 제공. **한계**: 평가가 holistic periocular 입력 위주이며, 실제 운영 환경의 더 광범위한 변동(조명·자세·연령)에 대한 영향은 후속 연구가 필요.

실용적 활용

공항·국경·금융 등 홍채 인증을 사용하는 보안 시스템에서 모델 채택 전 open-set 견고성 검증 프로토콜.
파운데이션 모델 기반 생체 PAD 연구의 표준 진단 도구.
LoRA 등 파라미터 효율 적응 기법을 안전 임계 도메인에 적용할 때 사용할 sanity check 기준.