A Synthetic-Driven Vision System for Assembly Step Recognition

Quality control in industrial assembly is essential, and real-time monitoring of the assembly process is crucial for preventing costly defects and ensuring production reliability. Vision-based automated inspection offers a powerful solution for such real-time monitoring. However, due to the specialized industrial components and processes, training these models typically relies on task-specific real-world data, which is costly and labor-intensive to collect and annotate. In this paper, we propose a system that automatically generates realistic assembly sequences and further trains real-time inspection models using the synthetic data. It can be efficiently applied to a given task within an hour, requiring only CAD models and simple step descriptions. Focusing on practical challenges, our system integrates a physics-based motion generation module to capture the variance of different human assembly, designs domain-randomized rendering to deal with the environmental complexity and variation, and employs an object-detection-based step recognition module for robust sim-to-real transfer, leading to 92.4% accuracy on a real-world assembly case with 46.7%, 15.8% and 61.2% performance improvement, respectively. Overall, our system provides a practical solution for industrial assembly inspection without requiring expensive real-world data collection and annotation, with the effectiveness validated on real industrial assembly tasks.

한 줄 요약

합성 데이터 기반 시스템으로 산업 조립 단계 인식을 실현, 92.4% 정확도 달성.

핵심 기여도

물리 기반 모션 생성 모듈을 통한 다양한 인간 조립 변이 모사.
도메인 랜덤화 렌더링으로 환경 복잡성 대응.
객체 탐지 기반 단계 인식 모듈로 실세계 이전 성능 향상.
46.7%, 15.8%, 61.2%의 성능 개선을 기록한 실세계 조립 사례 적용.

핵심 아이디어

기존 조립 인식 시스템은 실제 데이터 수집과 라벨링에 의존하지만, 이는 비용이 높고 시간이 소요된다. 본 연구는 CAD 모델과 간단한 단계 설명만으로 1시간 이내에 적용 가능한 시스템을 제안한다. 핵심 아이디어는 물리 기반 모션 생성 모듈을 통해 다양한 인간 조립 동작을 시뮬레이션하고, 도메인 랜덤화 렌더링을 통해 다양한 환경 조건을 반영함으로써 합성 데이터의 실세계 적응성을 높이는 것이다. 또한, 객체 탐지 기반 단계 인식 모듈을 사용하여 시뮬레이션-실세계 전이의 안정성을 확보한다.

기술적 접근법

**물리 기반 모션 생성 모듈**: 다양한 인간 조립 동작의 변이를 시뮬레이션.
**도메인 랜덤화 렌더링**: 조명, 배경, 시야각 등 환경 변화를 반영한 합성 데이터 생성.
**객체 탐지 기반 단계 인식 모듈**: YOLO 또는 비슷한 아키텍처를 사용한 실시간 인식.
**입력 데이터**: CAD 모델과 단계 설명만 필요.
**훈련 시간**: 1시간 이내.

주요 결과

실세계 조립 사례에서 92.4%의 정확도 달성.
기존 방법 대비 46.7%, 15.8%, 61.2%의 성능 개선.
합성 데이터만으로 훈련한 모델이 실세계 환경에서 높은 정확도 유지.

의의 및 한계

본 연구는 실제 데이터 없이도 산업 조립 인식 시스템을 구축할 수 있는 실용적 접근법을 제시한다. 특히, 물리 기반 모션 생성과 도메인 랜덤화 렌더링은 합성 데이터의 다양성과 실세계 적응성을 동시에 확보하는 데 기여한다. 그러나 특정 조립 환경에 대한 세부 조정이 필요하거나, 매우 복잡한 조립 과정에서는 추가적인 데이터나 모델 조정이 요구될 수 있다.

실용적 활용

본 시스템은 자동차, 전자기기, 항공기 등 다양한 산업 분야의 조립 라인에서 실시간 품질 검사를 위한 자동화 시스템으로 활용 가능하다. 특히, 데이터 수집이 어려운 신규 제품 라인에서 유용하며, 빠른 설정과 낮은 유지비가 장점이다.