FusionSense: Tri-Stage Near-Sensor Learning for Runtime-Adaptive Multimodal Edge Intelligence

Autonomous systems and smart-industry deployments increasingly split computation across near-sensor, edge, and cloud resources, where tight energy, latency, and reliability budgets demand run-time adaptivity. In practice, deciding what to compute and transmit at each point is pivotal; yet as multimodal sensor suites (cameras, LiDAR/depth, etc.) proliferate at the edge, most prior approaches either (i) fuse modalities on powerful servers or (ii) apply uni-modal near-sensor filters that ignore cross-modal dependencies, leading to redundant transmissions or missed events. We present FusionSense, a fusion-aware intelligent sensing framework for energy-constrained autonomous edge systems. Lightweight near-sensor classifiers are trained via a three-step procedure: (i) a server-side fusion model learns the downstream task, (ii) filter-out-safe (FoS) labels quantify each modality's necessity relative to the fused decision, and (iii) an edge-side fusion model is compacted by injecting near-sensor predictions as auxiliary signals. The result is a run-time decision layer that jointly reduces compute and communication while scaling linearly with sensor count. On a dual-modality (RGB+Depth/LiDAR) setup with SynDrone, FusionSense sustains task quality at substantially higher data-reduction rates than uni-modal filters and delivers large end-to-end gains: up to 33x lower energy at 1% FoI prevalence, 11x at 10%, a 92.3% reduction in quality loss at a fixed 30% data reduction, and roughly 1.5x higher energy savings than the best prior filtering baseline.

📋 한 줄 요약

**[Near-Sensor Fusion]** FusionSense가 server fusion → Filter-out-Safe 라벨링 → edge fusion 컴팩션의 3단계 학습으로 RGB+Depth/LiDAR 통합 — SynDrone에서 1% FoI prevalence 시 최대 33× 에너지 절감.

🎯 핵심 기여도

자율 시스템·스마트 산업이 near-sensor·edge·cloud 자원에 컴퓨팅을 분할하면서 tight 에너지·latency·신뢰성 budget이 run-time adaptivity를 요구한다는 배경 — 각 지점에서 무엇을 계산·전송할지가 핵심임을 강조.
멀티모달 sensor suite(카메라·LiDAR/depth 등)가 edge에서 확산되면서 기존 방식이 (i) 강력한 server에서 모달리티 fusion하거나 (ii) cross-modal 의존성을 무시하는 uni-modal near-sensor filter를 적용해 redundant 전송·놓친 이벤트가 발생하는 문제 지적.
FusionSense — energy-constrained autonomous edge 시스템을 위한 fusion-aware intelligent sensing 프레임워크.
경량 near-sensor 분류기를 3단계로 학습 — (i) server-side fusion 모델이 downstream task 학습, (ii) filter-out-safe(FoS) 라벨이 각 모달리티의 fused decision 대비 필요성 정량화, (iii) edge-side fusion 모델을 near-sensor 예측을 보조 신호로 주입해 compact화. 결과는 compute·통신을 동시 줄이면서 센서 수에 선형 확장되는 run-time 결정 계층.

💡 핵심 아이디어

멀티모달 sensor fusion의 효율은 server·edge·sensor를 분리한 3단계 학습 — server fusion → FoS 라벨링 → edge fusion 컴팩션 — 으로 달성되며, 이는 cross-modal 의존성을 보존하면서 compute·통신을 동시 줄이고 센서 수에 선형으로 확장된다.

🔬 기술적 접근법

**방법론**: FusionSense — 3-stage near-sensor learning.
**핵심 기법**: (1) Server-side fusion 모델로 downstream task 학습, (2) Filter-out-safe(FoS) 라벨로 각 모달리티의 fused decision 대비 필요성 정량화, (3) Edge-side fusion 모델을 near-sensor 예측을 보조 신호로 주입해 compact화, (4) Run-time decision layer가 compute·통신을 동시 줄이고 센서 수에 선형 확장, (5) Dual-modality(RGB+Depth/LiDAR) SynDrone에서 평가.

📊 주요 결과

Uni-modal filter 대비 substantially 높은 데이터 절감률에서도 task quality 유지.
1% FoI prevalence: 최대 33× 에너지 절감.
10% prevalence: 11× 절감.
30% 데이터 절감 고정 시 quality loss 92.3% 감소.
최고 prior filtering baseline 대비 약 1.5× 에너지 절감.

💭 의의 및 한계

**의의**: 멀티모달 edge intelligence의 효율 break-through, run-time adaptivity 제공, 센서 수 선형 확장성. **한계**: SynDrone 환경 평가 중심, RGB+Depth/LiDAR dual modality에 집중 — 3+ 모달리티 일반화 추가 검증, FoS 라벨 품질에 의존.

🚀 실용적 활용

자율주행·드론·로봇의 edge 인텔리전스.
스마트 팩토리·IoT 멀티센서 시스템.
Energy-constrained 임베디드 AI 배포.