Better, Stronger, Faster, and Broader: Structured All-Mask Prediction for MLLM-Based Segmentation

MLLM-based segmentation faces a core segmentation trilemma: high segmentation performance, preserved dialogue ability, and fast inference. Embedding-prediction methods may disrupt language modeling through pixel-level objectives, whereas next-token generation is inefficient for dense masks. We propose All-Mask Prediction, decoupling autoregressive dialogue from non-autoregressive mask prediction. Its binary instantiation, STAMP (Simultaneous Textual All-Mask Prediction), emits an in-vocabulary <SEG> trigger, fuses image-aligned mask tokens with corresponding patch features, and uses hybrid attention to classify all tokens as foreground or background in one pass. It thereby combines strong referring and reasoning segmentation with preserved multimodal ability and efficient inference. However, binary masks cannot retain multiple semantic or instance identities without repeated target-specific predictions. We therefore propose Structured All-Mask Prediction and develop STAMPlus. It generates a target list with explicit IDs and optional boxes, binds these IDs to a shared multi-class mask space, and jointly predicts all targets in one non-autoregressive pass. A single unified checkpoint retains STAMP's referring and reasoning capabilities while extending to open-vocabulary semantic, instance-aware, and remote-sensing small-target segmentation, where high-resolution mask-token scaling preserves finer spatial evidence. Across these settings, STAMPlus achieves state-of-the-art segmentation performance, preserves general multimodal instruction following, and reduces 12-category latency from 13.50s for repeated STAMP inference to 5.16s. Further analyses show that accurate target cues improve segmentation and learned spatial grounding benefits look-twice reasoning. Overall, STAMPlus resolves the trilemma beyond single-target prediction.

한 줄 요약

STAMPlus는 다중 타겟 분할을 한 번의 비자동회귀 추론으로 수행하며, 성능과 추론 속도를 동시에 개선한 MLLM 기반 분할 모델이다.

핵심 기여도

**All-Mask Prediction** 프레임워크를 제안하여, 대화 능력과 분할 성능, 추론 속도를 동시에 달성.
**STAMPlus**는 단일 추론 과정에서 다중 세마틱, 인스턴스, 소형 타겟 분할을 수행.
12개 범주 분할에서 **13.50초 → 5.16초**로 **1.6× 가속**.
**<SEG> 트리거**, **하이브리드 어텐션**, **고해상도 마스크 토큰 스케일링** 등 구체적 모듈 도입.

핵심 아이디어

기존 MLLM 기반 분할은 자동회귀 방식의 대화와 비자동회귀 방식의 마스크 생성 사이의 갈등으로 성능, 능력, 속도를 동시에 달성하기 어려웠다. 본 연구는 **All-Mask Prediction**을 통해 대화 능력을 유지하면서, 마스크 생성을 비자동회귀 방식으로 분리함으로써 효율성을 높였다. 특히, **STAMP**는 **<SEG> 트리거**를 사용해 이미지-정렬된 마스크 토큰과 패치 특성을 결합하고, **하이브리드 어텐션**을 통해 단일 패스로 전경/배경 분류를 수행한다. 그러나 이는 단일 타겟만 처리 가능하다는 한계가 있었다. 이를 극복하기 위해 **Structured All-Mask Prediction**을 제안하고, **STAMPlus**를 개발하여 **다중 타겟을 ID 기반으로 묶고, 공유된 멀티클래스 마스크 공간에서 동시에 예측**하도록 했다.

기술적 접근법

**All-Mask Prediction**: 대화 능력과 마스크 생성을 분리.
**STAMP**: <SEG> 트리거 → 이미지-정렬된 마스크 토큰 + 패치 특성 결합 → 하이브리드 어텐션으로 단일 패스 분류.
**STAMPlus**:
타겟 목록 생성 (ID + 옵션 박스)
ID를 공유된 멀티클래스 마스크 공간에 바인딩
비자동회귀 방식으로 모든 타겟을 동시에 예측
고해상도 마스크 토큰 스케일링으로 세부 공간 정보 유지

주요 결과

**12-category latency**: STAMP 반복 추론 13.50s → STAMPlus 단일 추론 5.16s (1.6× 가속)
**STAMPlus**: open-vocabulary semantic, instance-aware, remote-sensing small-target 분할에서 **SOTA 성능**
**정확한 타겟 큐**가 분할 정확도 향상에 기여
**학습된 공간 정착**이 look-twice 추론에 긍정적 영향

의의 및 한계

STAMPlus는 MLLM 기반 분할에서 **성능, 다중 타겟 처리, 추론 속도**를 동시에 달성함으로써 핵심 삼중 역설(trilemma)을 해결한 첫 모델이다. 특히, **단일 체크포인트에서 다양한 분할 태스크 처리**는 연구 및 실용적 측면에서 의미가 크다. 그러나 **구체적인 성능 수치 (예: mIoU)**는 명시되지 않았으며, **다양한 데이터셋에서의 일반화 가능성**에 대한 추가 실험도 필요하다.

실용적 활용

STAMPlus는 **의료 이미지 분할**, **위성 영상 분석**, **실시간 객체 추적** 등에서 활용 가능하다. 특히, **고해상도 이미지에서의 소형 객체 분할** 및 **다중 인스턴스 처리**가 필요한 산업 분야에서 유용할 것으로 기대된다.