PerceptionDLM: Parallel Region Perception with Multimodal Diffusion Language Models

Multimodal large language models (MLLMs) have achieved remarkable progress in visual understanding tasks. However, most existing MLLMs rely on autoregressive generation, which limits their efficiency for perception tasks that require captioning multiple regions. In this work, we propose PerceptionDLM, a multimodal diffusion language model optimized for efficient parallel region perception. Built upon PerceptionDLM-Base, a strong foundational baseline that achieves state-of-the-art performance among open-source diffusion MLLMs, our architecture fully leverages the parallel decoding nature of DLMs. Specifically, we introduce efficient prompting and structured attention masking to enable simultaneous perception of multiple masked regions, allowing the model to generate region descriptions in parallel at both the sequence and token levels. This design significantly improves inference efficiency compared with existing approaches that process regions sequentially. To systematically evaluate the parallelism property of visual perception capability for DLMs, we construct a new Parallel Detailed Localized Captioning Benchmark (ParaDLC-Bench) by scaling the DLC-Bench to include multiple region masks per image, enabling joint evaluation of both caption quality and inference efficiency. Experiments demonstrate that PerceptionDLM maintains competitive performance in region captioning while achieving substantial speed improvements for multi-region perception tasks. Our results highlight the potential of multimodal diffusion language models for efficient, parallel visual perception. To the best of our knowledge, we are the first to achieve parallel region caption and perception by leveraging the advantages of diffusion language models. Code, models, and datasets are released.

한 줄 요약

PerceptionDLM은 다중 영역을 병렬로 인식하는 확산 언어 모델로, 기존 순차적 생성 방식 대비 3.5배 빠른 처리 속도를 달성했다.

핵심 기여도

**PerceptionDLM-Base** 모델을 제안, 기존 확산 기반 VLM 대비 15/16 벤치마크에서 성능 개선.
**병렬 영역 인식** 메커니즘을 도입, 구조화된 어텐션 마스킹과 영역 인식 프롬프팅을 통해 다중 마스크 병렬 생성 가능.
**ParaDLC-Bench** 벤치마크를 제안, 다중 마스크 환경에서 캡션 품질과 추론 효율성 동시 평가.
**TPF (Tokens Per Forward)** 지표에서 2.9를 달성, 기존 순차 모델 대비 3.5배 빠른 처리 속도.

핵심 아이디어

기존 MLLMs는 순차적 생성(autoregressive generation) 방식을 사용해 다중 영역 캡션 생성 시 효율성이 낮았다. PerceptionDLM은 확산 언어 모델(DLM)의 병렬 생성 특성을 활용해 다중 마스크를 동시에 처리하는 새로운 접근법을 제안한다. 구체적으로, **learnable region embedding**을 도입해 각 영역의 식별성을 강화하고, **structured attention masking**을 통해 영역 간 간섭을 방지하면서도 글로벌 컨텍스트를 유지한다. 이는 **RoI feature replay**와 결합되어, 단일 denoising 과정에서 여러 영역의 캡션을 병렬로 생성할 수 있게 한다. 이는 기존 순차적 모델과 비교해 **인퍼런스 효율성**을 극적으로 향상시키는 핵심 아이디어이다.

기술적 접근법

**PerceptionDLM-Base**: 강력한 기초 모델로, **RoI feature replay**, **region prompting**, **structured attention masking**을 포함.
**Region Prompting**: 각 마스크에 대해 학습 가능한 embedding $ e_i $를 생성, 영역 식별 정보를 입력에 인코딩.
**Structured Attention Masking**: 영역별 어텐션 패턴을 제한해, 다른 영역의 RoI feature나 캡션 토큰에 대한 어텐션을 차단.
**ParaDLC-Bench**: 기존 DLC-Bench를 확장해, 다중 마스크 환경에서 캡션 품질과 추론 효율성을 동시에 평가.
**TPF (Tokens Per Forward)**: 평균적으로 2.9 토큰을 단일 forward pass로 생성, 기존 AR 모델 대비 3.5배 빠른 처리.

주요 결과

**PerceptionDLM-Base**는 16개 다중 모달 벤치마크에서 **LLaDA-V 대비 15개에서 성능 개선**.
**ParaDLC-Bench**에서 **62.4% 정확도** 달성, 기존 기준 모델 LLaDA-V (35.2%) 대비 27.2%P 향상.
**TPF 2.9** 달성, GAR-8B (TPF 1) 대비 2.9배 빠른 처리.
**5개 마스크 포함 이미지**에서 **3.5배 처리 속도 향상** (단일 이미지 latency 10.04s → 2.92s).

의의 및 한계

PerceptionDLM은 확산 언어 모델의 병렬 생성 능력을 최초로 영역 인식 작업에 적용한 모델로, **다중 마스크 처리 효율성**을 획기적으로 향상시켰다. 특히, **ParaDLC-Bench**는 기존 벤치마크의 한계를 보완하며, 향후 연구의 표준 평가 기준으로 활용될 수 있다. 그러나, **복잡한 추론 작업**(예: MMMU, MathVista)에서는 순차적 생성이 필요한 한계가 존재하며, **강화 학습**(RL)을 통한 추론 능력 개선이 필요하다는 점이 언급되었다.

실용적 활용

PerceptionDLM은 **실시간 영상 분석**, **다중 객체 설명 생성**, **로봇 비전 시스템** 등에서 활용 가능하다. 특히, **고밀도 마스크 처리**가 필요한 산업 현장에서 **추론 속도 향상**을 통해 실용적 가치가 높다.