Parallelized Autoregressive Decoding for Omni-Modal Dense Video Captioning

Dense video captioning aims to generate temporally grounded descriptions of video events, benefiting both event-level video understanding and generation. In this domain, autoregressive video large language models have emerged as a prevalent paradigm due to their strong generative and cross-modal modeling capacity. However, generating dense captions under the token-by-token paradigm severely limits inference efficiency and hinders scalability as video length and event density increase. In this work, we propose a parallelized autoregressive framework that not only improves generation efficiency but also enhances temporally grounded captioning performance. Our key insight is to exploit the weak local dependencies across temporally distinct events to restructure the causal dependency graph, thereby enabling lossless parallel generation. Specifically, tokens with weak cross-event dependencies can be decoded in parallel, while tightly coupled tokens within each event retain sequential decoding to preserve local semantic coherence. To realize this insight, we introduce two key components for lossless parallel decoding: (1) a latent global planning mechanism that automatically learns the event-level structure and produces compact tokens encoding global inter-event causality while adaptively aggregating event-level audio-visual semantics, guiding subsequent dependency restructuring and parallel decoding; and (2) an event-factorized parallel decoding mechanism that effectively balances local focus with global inter-event awareness. Experiments on various benchmarks demonstrate the clear advantage of our approach in both efficiency and performance in omni-modal event grounding and captioning. Project website: https://github.com/showlab/PadCaptioner.

한 줄 요약

PadCaptioner는 다중 이벤트 영상 캡션 생성에서 손실 없는 병렬 생성을 가능하게 하는 새로운 자동 회귀 프레임워크이다.

핵심 기여도

**PadCaptioner**라는 병렬화된 자동 회귀 프레임워크를 제안하여, 이벤트 간 약한 의존성을 활용해 손실 없는 병렬 생성을 실현.
**latent global planning mechanism**을 도입하여 이벤트 구조를 학습하고, 이에 기반한 **event-factorized parallel decoding**을 통해 지역적 의미 일관성과 전역적 구조 인식을 균형 있게 유지.
**ChronusAV** 데이터셋 기반 실험에서 기존 베이스라인 대비 **1.66× 토큰당 속도 향상**과 **3.8× 전체 디코딩 시간 단축**을 달성.
**event-wise decoding** 설계를 통해 장문의 영상에서도 캡션 생성 성능을 유지하거나 개선.

핵심 아이디어

기존 자동 회귀 영상 대형 언어 모델(Video-LLMs)은 토큰 단위로 생성하므로, 영상 길이와 이벤트 밀도가 증가할수록 추론 효율성이 급격히 저하된다. PadCaptioner는 이 문제를 해결하기 위해, **이벤트 간 약한 의존성**을 활용하여 **인과 의존성 그래프를 재구성**함으로써 병렬 생성을 가능하게 한다. 구체적으로, **이벤트 내부 토큰은 순차적 생성**, **이벤트 간 토큰은 병렬 생성**하도록 구조화한다. 이를 실현하기 위해 **latent global planning mechanism**을 통해 이벤트 구조를 학습하고, **event-factorized parallel decoding**을 통해 지역적 의미와 전역 구조를 균형 있게 유지한다. 이는 기존 순차적 디코딩 방식의 불필요한 의존성을 제거하면서도, 캡션 생성의 정확도를 유지한다.

기술적 접근법

**Latent Global Planning Mechanism**:
입력 영상에서 **이벤트 구조**를 자동 학습하여, **compact global event tokens** (G₁, G₂, ..., Gₖ)를 생성.
각 Gᵢ는 해당 이벤트의 **audio-visual semantics**를 adaptive하게 집약하여, 후속 디코딩에 필요한 **전역 인과 관계**를 제공.
**Event-Factorized Parallel Decoding**:
이벤트별로 **subchain**을 생성하고, 이 subchain 내에서는 순차적 디코딩을 유지.
이벤트 간에는 병렬 디코딩을 수행하며, **event-wise attention masking**을 통해 불필요한 이벤트 간 간섭을 제거.
모든 subchain은 **shared global event tokens**에 접근 가능하여, 전역 구조 인식 유지.
**Adaptive Semantic Aggregation**:
**attention-guided aggregation**을 사용하여, 공간, 시간, 모달별 토큰 중요도를 고려한 semantics 집약.
**learned scoring head** 대비 더 높은 성능을 보임.

주요 결과

**ChronusAV** 데이터셋에서, 기존 베이스라인 대비 **1.66× 토큰당 속도 향상**과 **3.8× 전체 디코딩 시간 단축**을 달성.
**F1 score**와 **Sim score**에서 병렬 디코딩이 성능을 유지하거나 **약간 개선**함을 확인.
**event-wise decoding** 설계가 **이벤트 중심 캡션 생성**을 촉진하고, **불필요한 이벤트 간 정보 간섭**을 줄임.
**event-factorized attention**을 사용하지 않을 경우, 성능이 **저하**됨을 실험적으로 검증.

의의 및 한계

PadCaptioner는 영상 내 다중 이벤트를 고려한 **병렬 자동 회귀 디코딩**을 가능하게 하여, 기존 순차적 디코딩 방식의 효율성 문제를 해결한다. 특히, **latent global planning**과 **event-wise decoding**을 결합함으로써, 지역적 의미 일관성과 전역 구조 인식을 동시에 유지하는 것이 학술적으로 의미 있는 기여이다. 또한, **다중 모달 영상 이해** 분야에서의 일반화 능력도 높은 것으로 보인다.
하지만, 현재 연구는 **이벤트 수준의 구조만 고려**하고, **서브 이벤트나 시공간 인스턴스**를 고려한 병렬 단위 학습은 아직 탐구되지 않았다. 이는 향후 연구의 한계이자 발전 방향이다.

실용적 활용

PadCaptioner는 **장시간 영상의 이벤트 기반 캡션 생성**, **자율 로봇의 환경 인지**, **영상 검색 및 인덱싱**, **멀티 이벤트 생성 시스템** 등에 적용 가능하다. 특히, **실시간 성능이 요구되는 애플리케이션**에서 기존 자동 회귀 모델 대비 **높은 추론 효율성**을 제공할 수 있다.