QCell: Recombining and Aligning Cell Queries for Overlapping Instance Segmentation

Instance segmentation of overlapping cells in microscopy remains challenging due to semi-transparent structures that produce weak boundaries and mixed visual evidence in overlap regions. Existing methods address this through local regions of interest or shape priors but lack global reasoning across overlapping objects. We present QCell, a novel query-based model that de-overlaps cell instances in microscopy scenes. Our approach combines (i) an instance recombination module that decomposes and recombines query representations in latent space, enabling the model to reason about complete object structure under overlap, and (ii) a contrastive query alignment objective that combines distinctive instance feature learning and separation of overlapping cell queries. We additionally introduce a new Organoid dataset benchmark for overlapping cell segmentation. We show that QCell outperforms state-of-the-art methods across multiple benchmarks, achieving +2.2 AP and +2.7 AJI on ISBI2014. Code is available at https://github.com/SlavkoPrytula/QCell

한 줄 요약

QCell은 반투명 세포의 겹침 구분을 위해 인스턴스 재조합 모듈과 대비 학습을 결합한 쿼리 기반 세포 인스턴스 분할 모델이다.

핵심 기여도

인스턴스 재조합 모듈(IR)을 통해 겹침 상황에서도 전체 객체 구조를 추론하도록 설계.
대비 쿼리 학습(DN-guided contrastive query learning)으로 겹친 셀의 쿼리 분리 성능 향상.
새로운 Organoids 데이터셋을 제안하여 밝은 필드 현미경에서의 겹침 세포 분할 평가 기준 확립.
ISBI2014에서 AP +2.2, AJI +2.7 개선하며 기존 최고 성능을 달성.

핵심 아이디어

기존 방법들은 겹친 세포 분할에서 지역적 RoI 또는 형태 사전 정보를 사용하지만, 전역적인 객체 관계를 고려하지 못한다. QCell은 쿼리 기반 접근법을 활용해 각 인스턴스를 전역 이미지 특성에 주의를 기울이는 쿼리로 표현하고, 인스턴스 간 상호작용을 통해 겹침 영역을 추론한다. 핵심 아이디어는 겹침 상황에서 각 인스턴스의 가시적, 비가시적, 전체 구조를 분해-재조합하는 IR 모듈과, DN 쿼리를 기반으로 인스턴스 구별 및 쿼리 정렬을 수행하는 대비 학습이다. 이는 겹친 셀의 구조적 이해와 표현 분리를 동시에 달성한다.

기술적 접근법

**Instance Recombination (IR) 모듈**: 쿼리를 가시, 비가시, 전체 구조로 분해하고, 일관성 정규화(CR)를 통해 재조합.
**Contrastive Query Learning**: 인스턴스 구별 손실(ℒdisc)과 코사인 정렬 손실(ℒalign)을 결합한 대비 학습. DN 쿼리를 사용해 안정적인 인스턴스 표현을 학습.
**데이터셋**: ISBI2014, Revvity-25, Organoids(540×540, 최대 223개 인스턴스 포함)를 사용.
**모델 파라미터**: 45M, FLOPs 182G (MaskDINO 대비 1M, 19G 증가).

주요 결과

**ISBI2014**: AP +2.2, AJI +2.7 개선.
**Organoids**: 최대 223개 인스턴스를 포함한 밀도 높은 겹침 상황에서 F1 92.3, AJI 78.6 달성.
**고도 겹침 분석**: AP 13.68 (기존 11.67 대비 +2.01), AP75 10.97 (+3.33) 개선.
**TPp, FNo**: 모든 데이터셋에서 가장 낮은 FNo와 높은 TPp 기록.

의의 및 한계

QCell은 반투명 겹침 세포 분할에서 구조적 이해와 표현 분리를 동시에 달성하는 첫 번째 쿼리 기반 모델로, 현미경 이미지 분석의 정확도를 높이는 데 기여한다. 특히, IR 모듈과 대비 학습의 결합은 기존 방법에서 해결하지 못한 전역적 객체 관계를 모델링하는 데 효과적이다. 그러나, 반투명 겹침 상황에서 재구성 마스크의 IoU가 낮아 AP75 성능이 제한될 수 있다. 또한, Organoids 데이터셋은 요청 시 제공되며, 공개 벤치마크로서의 활용도는 아직 제한적이다.

실용적 활용

QCell은 밝은 필드 현미경을 포함한 다양한 현미경 이미지에서 밀집된 겹침 세포 분할에 적용 가능하다. 특히, 세포 형태 분석, 공간 조직 이해, 인구 수준 행동 추적 등 세포 생물학 연구에서 유용하며, 의료 영상 분석 및 암 세포 분류 등 산업 분야에서도 활용 가능하다.