SAM-MT: Real-Time Interactive Multi-Target Video Segmentation

Modern Video Object Segmentation (VOS) involves tracking and segmenting user-specified targets. While recent approaches have achieved remarkable performance in single-target scenarios, extending them to multi-target settings typically involves replicating the single-target processing for each individual object, resulting in reduced frame rates (FPS) with unbounded latency as target count increases. Built upon Segment Anything 2 (SAM2), we propose SAM-MT, which addresses this by transforming the model into an interactive framework for real-time Multi-Target video segmentation. SAM-MT uses explicit queries to represent different individual targets, in parallel with a shared representation for global context. It employs decoupled masked attention to keep individual identities distinct from cross-target interference, and sparse memory for stable temporal evolution, along with specialized strategies for occlusion handling and overlap prevention. SAM-MT successfully decouples latency from the number of targets, achieving real-time speed on par with single-target baselines (>36 FPS for 10 targets) while maintaining SAM2's robust video segmentation performance.

한 줄 요약

SAM-MT는 SAM2 기반으로, 실시간 다목적 영상 분할을 위한 효율적인 프레임워크로, 10개 대상에서도 36 FPS 이상 성능을 보인다.

핵심 기여도

SAM-MT는 SAM2 기반으로, 다목적 처리 시 연산 비용을 대상 수와 독립적으로 유지하여 실시간 성능(>36 FPS, 10개 대상) 달성.
대상별 쿼리와 **decoupled masked attention** 모듈을 도입해 대상 간 간섭을 최소화하고 ID 유지.
**query-based sparse memory**를 통해 시간적 일관성 유지, **strided sampling**과 **overlap prevention** 전략으로 가려짐 처리 강화.
6개 VOS 벤치마크에서 SAM2.1-B+와 유사한 정확도(𝐽&Ḟ˙ 43.0)를 유지하면서 6× 가속 성능 보여.

핵심 아이디어

기존 SAM2와 유사한 객체 중심 처리는 다목적 상황에서 연산 비용이 증가해 FPS가 급격히 하락하는 문제를 야기한다. SAM-MT는 이를 해결하기 위해 **shared global context**와 병행하여 **target queries**를 도입해 개별 대상을 표현하고, **decoupled masked attention**을 통해 대상 간 간섭을 차단함으로써 ID 유지와 성능 향상을 동시에 달성한다. 또한, **query-based sparse memory**를 사용해 시간적 일관성을 유지하며, **strided sampling**과 **overlap prevention** 전략을 통해 GPU 제약하에서도 가려짐 처리를 효과적으로 수행한다. 이는 기존의 복잡한 메모리 구조나 별도의 디코더 없이도 실시간 다목적 처리가 가능하게 만든다.

기술적 접근법

**SAM2** 기반으로, **target queries**와 **shared global context**를 병행하여 처리.
**decoupled masked attention**을 사용해 대상 간 쿼리 간섭을 제어.
**query-based sparse memory**로 시간적 일관성 유지.
**strided sampling**을 도입해 GPU 제약하에서도 가려짐 처리 강화.
**overlap prevention** 전략으로 밀집된 장면에서 마스크 충돌 방지.
**transformer depth** 3개 블록으로 정확도-속도 균형 유지.
**window size** 16으로 정확도-속도 트레이드오프 최적화.

주요 결과

**MOSEv2** 데이터셋에서 **𝐽&Ḟ˙ 43.0** 달성.
10개 대상 시 **>36 FPS** 처리, SAM2.1-B+ 대비 **6× 가속**.
3개 대상 시 17.8 FPS, 5개 대상 시 12.4 FPS인 SAM2.1-B+ 대비 훨씬 높은 FPS 유지.
**LVOSv2**와 같은 장기 시퀀스 데이터에서도 안정적인 성능 보여.

의의 및 한계

SAM-MT는 SAM2의 강력한 분할 성능을 유지하면서도, 실시간 다목적 처리를 가능하게 하여 VOS 분야에서 중요한 진전을 이루었다. 특히, **decoupled masked attention**과 **query-based sparse memory**는 기존의 복잡한 메모리 구조 없이도 대상 ID 유지와 시간적 일관성을 달성하는 데 기여한다. 그러나, **strided sampling**은 일부 장면에서 정보 손실 가능성이 있으며, **overlap prevention**은 밀집된 대상이 아닌 경우 효과가 제한적일 수 있다. 또한, **transformer depth**가 3개 블록으로 제한되어 더 깊은 모델링은 제외되었다.

실용적 활용

SAM-MT는 자율주행, 드론, 로봇 등 실시간 다목적 추적 및 분할이 필요한 산업에 적용 가능하다. 특히, **밀집된 도로 환경**이나 **복잡한 사람/차량 혼합 장면**에서 높은 FPS와 정확도를 유지하며, **실시간 대응**이 필요한 시스템에 적합하다.