CruiseBench: A Real-Flight-Aligned N-CMAPSS Benchmark for Engine RUL Prediction

Remaining useful life (RUL) prediction estimates how long an engine can continue safe operation and is central to maintenance planning. N-CMAPSS extends C-MAPSS by simulating run-to-failure aero-engine trajectories using recorded real-flight profiles and retaining complete within-flight time series rather than cycle-level snapshots. However, this added realism reduces evaluation control because full-flight records increase data volume and entangle degradation cues with operating-regime variation, complicating preprocessing choices and direct comparisons of RUL modeling performance. To mitigate this issue, this paper proposes CruiseBench, a cruise-stage RUL benchmark derived from N-CMAPSS. It introduces CPM-N-CMAPSS (Cruising-Period Mask for N-CMAPSS), a mask artifact that stores cycle-local cruising intervals identified by the common-altitude method for the nine accessible subdatasets. CruiseBench applies a fixed protocol to the masked rows, using scenario descriptors and measured sensors as inputs while excluding virtual sensors, health parameters, and auxiliary metadata from the feature tensor, preserving native-resolution windows, and applying dataset-wise RUL caps. Experiments with LSTM, GRU, TCN, and TSMixer provide baseline results for this setting. Under CruiseBench-eta5-W256-S10, TSMixer obtains the lowest average RMSE, $3.4\pm1.71$, and Saxena score, $(2.50\pm2.99)\times 10^{4}$. Ablation studies show that flight-stage selection, temporal downscaling method, and RUL-cap threshold affect reported results. With its fixed cruise-stage protocol, CruiseBench provides a reproducible sub-benchmark for controlled RUL model comparison and CPM-N-CMAPSS provides a stage-specific data foundation for future transfer-learning and domain-adaptation studies.

한 줄 요약

CruiseBench는 N-CMAPSS 기반으로 항공기 엔진 RUL 예측을 위한 크루즈 단계 중심의 재현 가능한 벤치마크 프로토콜을 제시한다.

핵심 기여도

CPM-N-CMAPSS: N-CMAPSS의 9개 서브데이터셋에 대한 크루즈 구간을 저장하는 마스크 아티팩트를 제시.
CruiseBench: 입력 특성, 윈도우 규칙, RUL 캡 정책 등을 명시한 고정된 크루즈 단계 RUL 평가 프로토콜.
TSMixer가 CruiseBench-eta5-W256-S10 설정에서 평균 RMSE 3.4±1.71, Saxena 점수 2.50×10⁴를 기록하며 가장 낮은 오차를 보임.
비행 단계 선택, 시간 다운스케일링, RUL 캡 임계값이 결과에 영향을 미치는 점을 실험적으로 검증.

핵심 아이디어

N-CMAPSS는 실제 비행 프로파일을 기반으로 엔진의 전체 비행 주기를 시뮬레이션하지만, 이는 데이터 볼륨 증가와 운영 조건 변화로 인해 RUL 모델 비교가 어려워진다. 이를 해결하기 위해, CruiseBench는 비행 단계 중 **크루즈**(cruise) 구간만을 추출하여 **단일 운영 조건**(stable operating regime)에서 RUL 예측을 평가하는 프로토콜을 제안한다. CPM-N-CMAPSS는 **common-altitude 방법**을 사용해 각 비행 사이클 내 크루즈 구간을 식별하고, 이를 마스크로 저장함으로써 **재현 가능성**(reproducibility)을 보장한다. 이는 기존 C-MAPSS와 비교해 더 현실적인 데이터를 사용하면서도 평가 조건을 통제할 수 있게 한다.

기술적 접근법

**데이터**: N-CMAPSS의 9개 서브데이터셋을 기반으로, **크루즈 구간만 추출**.
**마스크 생성**: **common-altitude 방법**을 사용해 고도가 일정한 구간을 크루즈 구간으로 식별.
**입력 특성**: 시나리오 설명자와 측정 센서 데이터만 사용. 가상 센서, 건강 파라미터, 보조 메타데이터는 제외.
**윈도우링**: 원본 시간 해상도를 유지한 채 **W256**(윈도우 크기 256) 사용.
**RUL 캡**: 데이터셋별로 설정된 **eta5**(5% 임계값)를 기준으로 RUL 라벨을 제한.
**모델**: LSTM, GRU, TCN, TSMixer를 사용한 실험.
**평가 지표**: RMSE와 **Saxena score**를 사용.

주요 결과

TSMixer가 CruiseBench-eta5-W256-S10 설정에서 **평균 RMSE 3.4±1.71**, **Saxena score 2.50×10⁴**를 기록하며 가장 낮은 오차를 보임.
**비행 단계 선택**, **시간 다운스케일링 방법**, **RUL 캡 임계값**(eta)이 결과에 유의미한 영향을 미침.
**eta=5%** 설정에서 다른 설정(eta=0%, 10%)과 비교해 결과가 가장 안정적임.

의의 및 한계

CruiseBench는 단일 운영 조건에서 RUL 모델 비교를 가능하게 하여 **재현 가능하고 통제된 평가 환경**을 제공한다. CPM-N-CMAPSS는 **크루즈 단계별 데이터 기반**으로 향후 **도메인 적응**(domain adaptation) 및 **전이 학습**(transfer learning) 연구에 활용될 수 있다. 그러나, **크루즈 구간만을 사용**함으로써 상승 및 하강 단계의 정보는 제거되며, 전체 비행 주기에서의 RUL 예측 능력을 평가하려면 N-CMAPSS 전체 데이터를 사용해야 한다는 한계가 있다. 또한, **RUL 캡**(eta)은 경험적 선택이며, 이는 결과 해석에 영향을 줄 수 있다.

실용적 활용

CruiseBench는 항공 엔진 유지보수 계획에 필요한 RUL 예측 모델의 **비교 실험**에 활용 가능하며, 특히 **단일 운영 조건**(stable operating regime)에서의 성능 평가가 필요한 연구에 적합하다. 또한, CPM-N-CMAPSS는 **도메인 간 전이 학습** 및 **운영 조건 간 모델 적응** 연구의 데이터 기반으로 활용될 수 있다.