Lowering the Barrier to AI-Driven Inspection: A No-Code Workflow for Automated Structural Defect Detection

Structural health monitoring (SHM) is essential in modern engineering, providing data for condition-based maintenance, lifecycle assessment, and predictive decision-making. Traditionally, SHM relied on visual inspection to detect defects such as cracks and deformations. Early computer vision (CV) methods, including thresholding, edge detection, and handcrafted features, aimed to automate this process but were highly sensitive to noise, imaging variations, and multiscale defects, limiting their reliability. Recent advances in machine learning, particularly convolutional neural networks (CNNs) and You Only Look Once (YOLO), have improved defect detection accuracy and enabled real-time analysis. However, adoption in SHM remains limited due to technical barriers such as data labeling, model training, and deployment, which typically require programming expertise. To address this gap, we introduce YOLOEZ, an open-source, GUI-based tool for end-to-end YOLO model application. YOLOEZ integrates data labeling, training, and inference into a single interface, enabling high-performance model development without code while supporting reproducible workflows. Evaluation against existing software and classical image processing demonstrates that YOLOEZ not only outperforms traditional methods across most detection metrics, but also lowers adoption barriers present in other modern CV tools. By combining accuracy with accessibility, YOLOEZ facilitates wider use of AI-driven monitoring for predictive maintenance, digital twins, and intelligent structural systems.

한 줄 요약

YOLOEZ는 프로그래밍 없이 YOLO 기반 구조물 결함 탐지 모델을 개발할 수 있는 GUI 기반 오픈소스 플랫폼이다.

핵심 기여도

YOLOEZ는 데이터 라벨링, 모델 학습, 추론을 통합한 GUI 기반 워크플로우를 제공한다.
20개의 라벨된 이미지로 훈련해 SEM 이미지에서 기존 방법 대비 높은 정확도를 달성했다.
재현성과 사용자 친화성을 강조하며, SHM 연구의 비교 가능성과 일관성을 향상시킨다.
기존 도구와 비교해 유일하게 GUI, 라벨링, 로컬 데이터 관리, 코드 없는 작업을 통합한 플랫폼이다.

핵심 아이디어

YOLOEZ는 기존의 YOLO 모델 활용이 프로그래밍 지식이 필요하다는 문제를 해결하기 위해 설계되었다. 기존의 SHM 분야에서 사용되는 YOLO 모델은 Ultralytics와 같은 프레임워크를 기반으로 하며, 데이터 라벨링, 훈련, 추론 과정이 별도의 도구와 코드를 필요로 했다. YOLOEZ는 이러한 단계를 하나의 GUI 인터페이스로 통합함으로써, 프로그래밍 지식이 없는 엔지니어도 쉽게 모델을 훈련하고 사용할 수 있도록 한다. 특히, YOLOEZ는 Roboflow와 같은 라벨링 도구와는 달리, 라벨링부터 추론까지의 전체 워크플로우를 내장하고 있어 사용자 경험을 단순화한다.

YOLOEZ는 YOLOv5 기반의 모델을 사용하며, 사용자가 직접 하이퍼파라미터를 설정하지 않아도 기본적인 훈련이 가능하도록 설계되었다. 이는 SHM 분야에서 데이터가 제한적일 경우에도 유용하다. 예를 들어, 연구에서는 20개의 라벨된 SEM 이미지로 훈련해도 기존의 형태학적 기반 방법보다 높은 성능을 보였다.

기술적 접근법

**YOLOEZ 플랫폼**: Python으로 개발된 GUI 기반 애플리케이션으로, 데이터 라벨링, 모델 훈련, 추론을 통합한 단일 인터페이스 제공.
**YOLOv5 기반 모델**: YOLOv5 아키텍처를 사용하며, 사용자가 별도의 코드 없이 훈련 파라미터를 설정할 수 있도록 기본값 제공.
**데이터셋**: 3D 프린팅된 텅스텐의 SEM 이미지에서 마이크로 크랙 탐지에 사용.
**하이퍼파라미터**: 사용자가 직접 조정하지 않아도 기본값으로 훈련 가능.
**성능 평가 지표**: Recall, F1 score, IoU, Crack Count Accuracy 사용.
**재현성 강조**: 동일한 데이터셋과 설정으로 10번의 독립 훈련 실행하여 결과의 일관성 검증.

주요 결과

**SEM 이미지에서 마이크로 크랙 탐지**: 20개의 라벨된 이미지로 훈련한 YOLOEZ가 기존 형태학적 기반 방법보다 Recall, F1 score, IoU, Crack Count Accuracy에서 모두 우수한 성능을 보임.
**10번의 독립 훈련 실행**: 모든 실행에서 일관된 성능을 유지하며, 재현성을 입증.
**기존 도구 대비 사용성 향상**: GUI 기반으로, 프로그래밍 없이도 모델 훈련 및 추론 가능.
**YOLOEZ vs. Roboflow + Ultralytics**: Roboflow는 라벨링만 제공하지만, YOLOEZ는 라벨링부터 추론까지의 전체 워크플로우를 통합.

의의 및 한계

YOLOEZ는 SHM 분야에서 AI 기반 모델의 활용을 저해하던 기술적 장벽을 해소하는 데 기여한다. 특히, 프로그래밍 지식이 없는 구조 엔지니어나 재료 과학자도 YOLO 모델을 쉽게 활용할 수 있도록 하여, AI 기반 모니터링의 보급을 촉진할 수 있다. 또한, YOLOEZ는 연구의 재현성과 일관성을 높이기 위해 내장된 데이터셋 관리 및 훈련 프레임워크를 제공하며, SHM 연구의 비교 가능성을 향상시킨다.

그러나 YOLOEZ는 현재 단일 클래스(크랙)만을 탐지하도록 설계되어 있으며, 다중 클래스 결함 탐지 기능은 아직 개발 중이다. 또한, 다양한 구조 재료와 영상 모드에서의 성능 검증이 필요하다. 연구에서는 3D 프린팅 텅스텐의 SEM 이미지만을 사용했기 때문에, 다른 재료나 영상 데이터에서의 일반화 가능성은 추가 실험을 통해 검증되어야 한다.

실용적 활용

YOLOEZ는 건설, 항공, 자동차 산업에서 구조물의 정기 점검 및 예지 정비에 활용할 수 있다. 특히, 프로그래밍 지식이 부족한 현장 엔지니어가 AI 기반 모델을 직접 훈련하고 사용할 수 있어, 유지보수 비용을 절감하고 결함 탐지의 신속성과 정확도를 높일 수 있다. 또한, 디지털 트윈 및 스마트 구조 시스템 구축에도 유용하게 사용될 수 있다.