EMCAD: Efficient Multi-Scale Convolutional Attention Decoding for Medical Image Segmentation

An efficient and effective decoding mechanism is crucial in medical image segmentation, especially in scenarios with limited computational resources. However, these decoding mechanisms usually come with high computational costs. To address this concern, we introduce EMCAD, a new efficient multi-scale convolutional attention decoder, designed to optimize both performance and computational efficiency. EMCAD leverages a unique multi-scale depth-wise convolution block, significantly enhancing feature maps through multi-scale convolutions. EMCAD also employs channel, spatial, and grouped (large-kernel) gated attention mechanisms, which are highly effective at capturing intricate spatial relationships while focusing on salient regions. By employing group and depth-wise convolution, EMCAD is very efficient and scales well (e.g., only 1.91M parameters and 0.381G FLOPs are needed when using a standard encoder). Our rigorous evaluations across 12 datasets that belong to six medical image segmentation tasks reveal that EMCAD achieves state-of-the-art (SOTA) performance with 79.4% and 80.3% reduction in #Params and #FLOPs, respectively. Moreover, EMCAD's adaptability to different encoders and versatility across segmentation tasks further establish EMCAD as a promising tool, advancing the field towards more efficient and accurate medical image analysis. Our implementation is available at https://github.com/SLDGroupIEMCAD.

한 줄 요약

EMCAD는 의료 이미지 분할에서 성능과 계산 효율성을 동시에 최적화한 다중 스케일 컨볼루션 어텐션 디코더로, 12개 데이터셋에서 기존 방법 대비 79.4%의 파라미터 감소를 달성했다.

핵심 기여도

**EMCAD 디코더**: 다중 스케일 컨볼루션 어텐션 모듈(MSCAM)과 그룹 어텐션 게이트(LGAG)를 결합하여, 1.91M 파라미터와 0.381G FLOPs로도 SOTA 성능을 달성.
**MSCAM 모듈**: 깊이 방향 컨볼루션을 활용해, 기존 컨볼루션 블록 대비 79.4%의 파라미터 감소와 80.3%의 FLOPs 감소를 기록.
**LGAG 게이트**: 3×3 그룹 컨볼루션을 사용해, 국부적 맥락을 효율적으로 포착하면서도 계산량을 줄임.
**다중 태스크 성능**: 12개 의료 이미지 분할 데이터셋에서 평균 DICE 91.10%를 달성하며, 기존 최고 성능을 1~2%포인트 개선.

핵심 아이디어

EMCAD은 기존의 어텐션 기반 디코더가 높은 계산 비용을 요구하는 문제를 해결하기 위해, **깊이 방향 컨볼루션**(depth-wise convolution)과 **그룹 어텐션**(grouped attention)을 결합한 새로운 디코더 구조를 제안한다. 기존의 어텐션 메커니즘은 전역 정보를 잘 포착하지만, 국부적 공간 맥락을 이해하는 데 한계가 있었다. EMCAD은 **MSCAM**(Multi-Scale Convolutional Attention Module)을 통해 다중 스케일의 공간 정보를 효율적으로 추출하고, **LGAG**(Large-kernel Grouped Attention Gate)를 통해 스킵 연결의 특성을 효과적으로 융합한다. 특히, MSCAM은 1×1, 3×3, 5×5 컨볼루션을 병렬적으로 수행하여, 다양한 스케일의 특성을 동시에 학습하며, 전체 파라미터 수를 1.91M으로 줄이는 데 기여한다.

기술적 접근법

**MSCAM**: 다중 스케일 컨볼루션(1×1, 3×3, 5×5)을 병렬적으로 수행하며, 각 스케일의 특성을 어텐션 가중치로 결합.
**LGAG**: 3×3 그룹 컨볼루션을 사용하여, 스킵 연결의 특성과 디코더의 특성을 융합.
**PVT-EMCAD-B0/B2**: PVTv2-B0/B2 인코더와 EMCAD 디코더를 결합한 모델. B0 버전은 3.92M 파라미터와 0.84G FLOPs로도 뛰어난 성능을 보임.
**하이퍼파라미터**: 인코더 채널 수는 B0에서 [32, 64, 160, 256], B2에서 [64, 128, 320, 512]로 설정.

주요 결과

**Polyp 분할**: PVT-EMCAD-B2는 5개 데이터셋에서 평균 DICE 91.10%를 달성하며, PolypPVT 대비 1.79% 개선.
**심장 분할(ACDC)**: 평균 DICE 92.12%로, Cascaded MERIT 대비 0.27% 개선.
**가슴암 분할(BUSI)**: DICE 80.25%로, 기존 최고 성능.
**전체 성능**: 12개 데이터셋에서 평균 DICE 91.10%, 파라미터 26.76M, FLOPs 5.6G로, 기존 방법 대비 79.4%의 파라미터 감소와 80.3%의 FLOPs 감소.

의의 및 한계

EMCAD은 의료 이미지 분할에서 **성능과 효율성의 균형**을 맞춘 첫 번째 디코더로, 특히 **자원 제한 환경**(예: 모바일, 임상 현장)에서 활용 가능성을 제시한다. MSCAM과 LGAG의 결합은 기존 어텐션 기반 모델의 계산 비용 문제를 해결하면서도, 정확도를 유지하거나 개선하는 데 성공했다. 그러나 EMCAD은 **3D 의료 이미지**(예: CT, MRI 볼륨)에 대한 평가가 명시되지 않았으며, **다중 클래스 분할** 성능도 추가 실험 필요가 있다. 또한, 인코더와의 호환성은 높지만, **비 허이에리컬 인코더**(예: ResNet)와의 결합 효과는 아직 검증되지 않았다.

실용적 활용

EMCAD은 **임상 현장의 실시간 이미지 분석**, **모바일 기기 기반 의료 AI**, **저자원 환경에서의 의료 지원 시스템**에 적용 가능하다. 특히, PVT-EMCAD-B0와 같은 소형 모델은 **스킨 레전 분할**과 같은 포인트 케어 애플리케이션에 적합하며, **병원 내 자동 진단 시스템**에 통합될 수 있다.