Scale-Gest: Scalable Model-Space Synthesis and Runtime Selection for On-Device Gesture Detection

Realizing on-device ML-based gesture detection under tight real-time performance, energy and memory constraints is challenging, especially when considering mobile devices with varying battery-power levels. Existing EdgeAI deployments typically rely on a single fixed detector, limiting optimization opportunities. We present Scale-Gest, a novel run-time adaptive gesture detection framework that expands the detector space into a dense family of tiny-YOLO architectures. We introduce multiple novel device-calibrated ACE (Accuracy-Complexity-Energy) profiles by analyzing different model-resolution-stride operating points. A lightweight run-time controller selects an appropriate ACE mode under user-defined and battery constraints, while a motion-aware hand-gesture-tracking ROI gate crops the input for reduced complexity detection. To evaluate performance of our system in real-world car driving scenarios, we introduce a temporally-annotated Driver Simulated Gesture (DSG-18) dataset. Scale-Gest maintains event-level F1 while significantly reducing energy and latency compared to single-detector approaches. On a battery-powered laptop running gesture streams, our ACE controller reduces per-frame energy by 4x (from 6.9 mJ to 1.6 mJ) while maintaining high gesture-detection performance (event-level F1 = 0.8-0.9) and low mean latency (6 ms).

📋 한 줄 요약

**[온디바이스 ML / EdgeAI]** 단일 고정 검출기 대신 tiny-YOLO 아키텍처의 조밀한 가족을 런타임에 적응적으로 선택해, 차량 환경에서 에너지 4배 절감하면서 제스처 검출 성능을 유지하는 Scale-Gest 프레임워크 제안.

🎯 핵심 기여도

모바일·배터리 환경에서 단일 고정 검출기에 의존하던 EdgeAI 제스처 검출의 최적화 기회 한계를 진단.
tiny-YOLO 아키텍처를 조밀한 가족으로 확장한 적응형 모델 공간 설계.
디바이스 캘리브레이션된 ACE(Accuracy-Complexity-Energy) 프로파일과 모델-해상도-스트라이드 운영 점을 결합한 다축 최적화.
motion-aware hand-gesture-tracking ROI gate로 입력 crop을 통해 검출 복잡도 추가 감소.
Driver Simulated Gesture(DSG-18) 데이터셋으로 차량 시나리오에서 평가.

💡 핵심 아이디어

EdgeAI 제스처 검출의 진짜 자원은 모델 정확도만이 아니라 **상황별 모델 선택과 입력 영역 통제**다. 사용자 정의 조건과 배터리 상태에 따라 ACE 모드를 동적으로 전환하면 큰 에너지 절감을 거의 무비용으로 얻을 수 있다.

🔬 기술적 접근법

**모델/방법론**: tiny-YOLO 가족 + 경량 런타임 컨트롤러 + motion-aware ROI 게이트로 구성된 Scale-Gest.
**핵심 기법**: (1) 디바이스 캘리브레이션된 ACE 프로파일 다수 정의, (2) 사용자·배터리 제약 하에서 적절 ACE 모드 선택하는 런타임 컨트롤러, (3) 손·제스처 추적 ROI로 입력 crop을 만들어 검출 복잡도 축소.

📊 주요 결과

DSG-18 데이터셋에서 event-level F1 유지하며 단일 검출기 대비 에너지·지연 절감.
배터리 구동 노트북에서 ACE 컨트롤러로 프레임당 에너지 6.9 mJ → 1.6 mJ로 4배 감소.
event-level F1 0.8–0.9 유지, 평균 지연 6 ms.

💭 의의 및 한계

**의의**: EdgeAI에서 "고정 모델"이라는 관행을 깨고 동적 모델 공간 + 입력 통제의 결합이 큰 효율 이득을 준다는 점을 차량 시나리오에서 실증. **한계**: 자동차 운전 환경 위주 평가로, 다른 EdgeAI 응용(웨어러블 헬스·VR)으로의 직접 일반화는 별도 검증 필요.

🚀 실용적 활용

차량 인포테인먼트의 손 제스처 인터페이스 최적화.
배터리 제약이 큰 모바일·웨어러블 제스처 입력.
동적으로 정확도/에너지를 거래해야 하는 일반 EdgeAI 추론 컨트롤러 청사진.