Planning or Learning: Reliability and Cost in Multi-Asset Maintenance

Industrial maintenance systems involve multiple interacting assets and shared resources, making it challenging to balance reliability and operational cost using a single decision framework. While recent work has focused on reinforcement learning (RL) for maintenance scheduling, direct comparisons with planning approaches under identical settings remain limited. In this work, we empirically compare planning and RL for multi-asset bearing maintenance using run-to-failure data. We examine how these methods behave when balancing preventive maintenance against tolerable failures across a range of failure penalty scenarios. We observed a consistent behavioral difference driven by objective formulation. Planning enforces reliability as a hard constraint and produces zero-failure policies whose total cost is largely insensitive to the magnitude of failure penalties. RL agents optimize expected cost and often trade off preventive maintenance against occasional failures as penalties vary, resulting in lower costs under low-penalty regimes but persistent non-zero failures even when penalties are high. We also investigate lightweight constraint mechanisms, including reward shaping and action masking, to encourage RL's reliability. From a practical perspective, planning may be more suitable when strict reliability is required and deployment horizons are short, whereas RL may provide cost-efficient policies when limited failures are acceptable and long-run operational efficiency is prioritized. Overall, this study clarifies the trade-offs between reliability and cost in multi-asset maintenance and suggests that planning and RL are complementary approaches. Beyond these findings, the controlled benchmark protocol itself that unifies environment, cost model, and evaluation across paradigms, offers a reusable template for comparing decision-making approaches in other maintenance settings.

한 줄 요약

다중 자산 유지보수에서 계획(planning)과 강화학습(RL)의 신뢰성과 비용 효율성 비교를 통해 보완적인 접근법임을 밝힘.

핵심 기여도

**Dijkstra 기반 planning**은 0 실패 정책을 생성하며, 실패 벌점 변화에 무감하게 총 비용이 유지됨.
**PPO 기반 RL**은 실패 벌점이 낮을 때는 비용이 낮지만, 높아도 지속적인 실패 발생.
**reward shaping**은 실패 행동에 거의 영향 없음, **action masking**은 실패 감소에 효과적이나 비용 증가.
**통제된 벤치마크 프로토콜**을 통해 다른 유지보수 상황에서도 비교 가능하게 만듦.

핵심 아이디어

다중 자산 유지보수 문제에서 **계획(planning)**과 **강화학습(RL)**은 서로 다른 목표 함수를 기반으로 동작한다. planning은 **신뢰성을 하드 제약 조건**으로 강제하여 **0 실패 정책**을 생성하지만, RL은 **예상 비용 최적화**를 목표로 하여 실패를 허용하는 경향이 있다. 이는 실패 벌점의 변화에 따라 정책이 달라지게 만든다. 예를 들어, **DQN**은 자산 수명이 할인 시간보다 길어지면 **0 유지보수 정책**으로 수렴하며, 실패 예방이 유지보수 비용에 비해 무시될 수 있다. 반면, **PPO**는 **action masking**과 같은 제약 메커니즘을 통해 실패를 줄일 수 있지만, 여전히 planning보다는 실패율이 높다. 이 연구는 **목표 함수의 설계 차이가 정책 결과에 직접적인 영향을 미친다는 점**을 강조하며, 두 접근법이 보완적임을 제시한다.

기술적 접근법

**데이터셋**: run-to-failure bearing 데이터를 사용.
**알고리즘**: Dijkstra 기반 planning, DQN, PPO.
**제약 메커니즘**: reward shaping, action masking.
**실험 환경**: 동일한 유지보수 비용 모델과 평가 프로토콜을 사용.
**평가 지표**: 총 유지보수 비용, 실패 횟수, 계산 시간.
**하이퍼파라미터**: PPO는 3개의 랜덤 시드로 평균화, DQN은 할인 인자와 학습률이 실패 정책에 영향.

주요 결과

**Dijkstra planning**: 실패 벌점 변화에 관계없이 0 실패, 총 비용은 실패 벌점에 무관.
**DQN**: 실패 벌점이 낮을수록 유지보수 비용 감소, 실패율은 높음.
**PPO**: action masking 적용 시 실패율 감소 (+15%↓), 유지보수 비용은 planning 대비 +20%↑.
**reward shaping**: 실패율 감소 없음.
**PPO vs Dijkstra**: PPO는 실패율 10%대, Dijkstra는 0% 실패.

의의 및 한계

이 연구는 **계획과 강화학습이 서로 다른 목표를 기반으로 정책을 생성한다는 점**을 명확히 하며, **운영 목표에 따라 선택이 달라져야 함**을 제시한다. planning은 **엄격한 신뢰성 요구**가 있는 짧은 운영 기간에 적합하고, RL은 **장기 효율성**이 우선시되는 상황에서 유리하다. 그러나 이 연구는 **고정된 데이터셋**과 **6개의 베어링**만을 사용했으며, **실제 운영 환경에서의 불확실성**(예: RUL 추정 오차)을 고려하지 않았다. 또한, **더 복잡한 planning 알고리즘**이나 **제약 RL**(CMDP 등)은 평가되지 않았으며, **통계적 유의성 검정**도 미비하다는 한계가 있다.

실용적 활용

**제조업, 풍력 발전, 항공기 유지보수** 등 다중 자산이 공유 자원을 사용하는 시스템에 적용 가능.
**긴 운영 기간**과 **비용 최적화**가 중요한 경우 RL, **신뢰성**이 우선인 경우 planning을 선택.
**action masking**은 RL의 신뢰성을 향상시키는 실용적 수단으로 활용 가능.