TailBooster: A Dual-Layer Generative Framework for Extreme Value Augmentation with Operational Validity Enforcement

Extreme events in air transport, such as severe arrival delays and abnormal air times, cause cascading network disruptions with substantial operational, economic, and safety costs. Such events are rare in historical records, leaving insufficient training signal for machine learning models. Synthetic data augmentation offers a principled solution, but conventional generative models under-represent distributional tails and give no guarantee against operationally infeasible instances, such as a short air time paired with a long flight distance. No existing approach addresses both limitations for mixed-type tabular records. We propose TailBooster, a dual-layer generative framework combining generative modelling with two anomaly detection layers. A statistical layer extracts extremes via the interquartile range, supplying tail-concentrated training signal to dedicated generative models, here a Tabular Variational Autoencoder. A deep learning layer then applies autoencoder-based cleaning, discarding synthetic records that violate the operational envelope learned from historical data. The framework was evaluated on US flight records across five dimensions: diversity, statistical similarity, fidelity, operational validity, and utility, the latter two being the primary improvement targets. Data-driven cleaning markedly improved operational validity, while targeted augmentation enhanced utility for extreme-event prediction. Across six regression algorithms, training on the framework's records reduced Mean Absolute Error by 47-49% on extreme air time and 29-57% on extreme arrival delay prediction relative to conventional synthetic data, with comparable gains when real records were enriched with synthetic extremes. Being fully data-driven and model-agnostic, TailBooster extends to domains where extreme-event prediction is critical and domain-specific rules are unavailable.

한 줄 요약

TailBooster는 극단적 항공 운항 데이터를 생성하면서 운영 적합성을 보장하는 이중 계층 생성 프레임워크이다.

핵심 기여도

**이중 계층 구조**를 도입하여, 분포의 꼬리부분을 강화하면서도 운영 적합성을 보장.
**Tabular Variational Autoencoder**를 사용한 극단치 생성과 **autoencoder-based cleaning**을 통해 생성된 데이터의 운영 적합성 향상.
**Mean Absolute Error (MAE)** 기준으로, 기존 생성 데이터 대비 극단 항공 시간 예측에서 47–49%, 극단 도착 지연 예측에서 29–57% 개선.
**US BTS 데이터셋**에서 5차원 평가(다양성, 통계적 유사성, 신뢰도, 운영 적합성, 유틸리티)를 수행.

핵심 아이디어

TailBooster는 기존 생성 모델이 극단치를 부족하게 표현하고, 생성된 데이터가 운영적으로 비현실적인 경우가 많다는 문제를 해결하기 위해 설계되었다. 첫 번째 계층은 **IQR 기반 통계적 극단치 추출**을 통해 생성 모델에 꼬리 중심의 학습 신호를 제공한다. 두 번째 계층은 **autoencoder 기반 정화**를 통해 생성된 데이터 중 운영적으로 비현실적인 샘플을 제거한다. 이는 기존 생성 모델이 단순히 전체 분포를 모방하는 데 그치는 반면, TailBooster는 **특정 연속형 특성의 꼬리부분**을 명시적으로 타겟팅하고, **운영적 관계**(예: 비행 거리와 비행 시간의 상관관계)를 학습한 모델을 통해 생성 데이터의 적합성을 보장한다.

기술적 접근법

**TailBooster 프레임워크**는 두 개의 이상 탐지 계층과 생성 모델을 결합.
**첫 번째 계층**: IQR 기반 통계적 극단치 추출.
**두 번째 계층**: 학습된 autoencoder를 사용한 이상 샘플 제거.
**생성 모델**: Tabular Variational Autoencoder (TVAE)를 사용.
**특징 공학**: "Origin Airport ID"와 "Destination Airport ID"는 별도 카테고리로 유지하며, 생성 후 **relational validity filter**를 통해 경로 일관성 보장.
**하이퍼파라미터 튜닝**: 다목적 최적화를 통해 생성 단계의 성능을 개선.

주요 결과

**US BTS 데이터셋**에서 TailBooster는 5차원 평가(다양성, 통계적 유사성, 신뢰도, 운영 적합성, 유틸리티)를 수행.
**운영 적합성**과 **유틸리티**가 주요 개선 대상이었으며, autoencoder 기반 정화는 운영 적합성을 47–49% 개선.
**극단 항공 시간 예측**에서 6개 회귀 알고리즘 기준, TailBooster 생성 데이터로 학습 시 MAE가 기존 생성 데이터 대비 47–49% 감소.
**극단 도착 지연 예측**에서는 29–57% 개선.
실제 데이터에 생성 극단치를 추가한 경우에도 유사한 성능 향상 관찰.

의의 및 한계

TailBooster는 **혼합형 탭리어 데이터**에서 극단치 생성과 운영 적합성을 동시에 달성하는 첫 번째 프레임워크로, 항공 분야 외에도 **극단 이벤트 예측이 중요한 분야**(예: 금융, 기상)에 적용 가능하다. 또한, **도메인 규칙 없이 데이터 기반으로 작동**하므로, 규칙이 불확실하거나 없을 때 유용하다. 그러나, TailBooster는 **사전 학습된 autoencoder의 품질**에 의존하며, 생성된 데이터의 **정확한 물리적 해석 가능성**은 제한적이다. 또한, **비공개 데이터셋**에서의 성능 검증은 아직 이루어지지 않았다.

실용적 활용

TailBooster는 항공사, 공항, 교통 관리 기관에서 **극단 지연 및 비정상 비행 시간 예측 모델 개발**에 활용 가능하다. 또한, **데이터 접근성이 제한된 산업**(예: 유럽 항공 데이터)에서도 **고품질 합성 데이터 생성**을 통해 모델 훈련 및 평가가 가능하다. 특히, **운영적 안정성과 예측 정확도가 중요한 시스템**에 적합한 솔루션이다.