AV-GRPO: Modality-Anchored Decoupling Diffusion Reinforcement Learning for Joint Audio-Video Generation

Recent years have witnessed major progress in joint audio-video generation. Existing models still suffer from limited per-modality fidelity, insufficient text-modality alignment and weak cross-modal synchronization. While reinforcement-learning post-training offers a promising remedy, directly adapting it to joint audio-video generation is challenging. Heterogeneous multimodal rewards entangle learning signals and complicate credit assignment. Joint optimization of two modality towers is computationally expensive given their divergent dynamics. Moreover, synchronization evaluation difficulty depends on paired samples, preventing fair reward comparisons. We propose AV-GRPO, a modality-anchored online diffusion RL framework, and 5DAV, a decoupled, difficulty-controllable training dataset. AV-GRPO includes three key modules: (1) modality-anchored rollouts to disentangle learning signals and stabilize difficulty; (2) trajectory-locked frozen-tower optimization to reduce cost and reassign credit; (3) adaptive objectives and perturbation strengths tailored to modality-specific dynamics. This converts coupled multimodal preference learning into unimodal subproblems for precise reward attribution and better synchronization. Our 5DAV dataset decouples samples across five dimensions for systematic training. Experiments on JavisBench and VABench demonstrate AV-GRPO outperforms LTX-2.3 in generation quality, semantic alignment and cross-modal synchronization under LoRA and full fine-tuning. Ablations confirm our designs. Code and data: https://github.com/zhiyuxu03/AV-GRPO

한 줄 요약

AV-GRPO는 AV 생성에서 신뢰성 있는 보상 할당과 동기화를 위해 모달리티-앵커드 디코플링 디퓨전 강화학습을 제안한다.

핵심 기여도

AV-GRPO는 모달리티-앵커드 롤아웃, 트레jectory-록드 프로세스, 적응형 하이퍼파라미터로 보상 할당을 분리하고 학습 효율을 높인다.
5DAV는 5차원으로 분리된 샘플을 제공하여 시스템적인 훈련을 가능하게 한다.
JavisBench와 VABench에서 LTX-2.3 대비 생성 품질, 의미 정렬, 동기화 측면에서 개선을 보인다.
22B 파라미터 모델의 전체 파인튜닝을 8개 A800 GPU로 수행 가능.

핵심 아이디어

기존 AV 생성 모델은 텍스트-모달 정렬과 모달 간 동기화가 부족하며, 강화학습을 적용할 경우 보상 신호가 얽혀 학습이 어려운 문제가 있었다. AV-GRPO는 이 문제를 해결하기 위해 **모달리티-앵커드 롤아웃**(modality-anchored rollouts)을 도입하여, 한 모달리티를 고정하고 다른 모달리티만 변화시키는 방식으로 보상 신호를 분리한다. 예를 들어, 영상이 고정된 상태에서 오디오만 변화시켜 오디오 품질과 동기화를 독립적으로 평가한다.

또한, **트레jectory-록드 프로세스**(trajectory-locked frozen-tower optimization)를 통해 한쪽 모달리티의 파라미터를 고정하고 다른 쪽만 최적화함으로써 메모리 사용량을 줄이고 보상 신호를 명확히 할당한다. 마지막으로, **적응형 하이퍼파라미터**(adaptive objectives and perturbation strengths)를 사용하여 모달리티별 학습 속도와 노이즈 강도를 조절하여 불균형한 학습 동작을 보완한다. 이는 기존의 통일된 하이퍼파라미터가 한쪽 모달리티에 편향될 수 있는 문제를 해결한다.

기술적 접근법

**모달리티-앵커드 롤아웃**: 한 모달리티(예: 영상)를 고정하고 다른 모달리티(예: 오디오)를 여러 번 샘플링하여 보상 신호를 분리.
**트레jectory-록드 프로세스**: 고정된 트레jectory(예: 영상)는 최적화 과정에서 변경되지 않고, 오디오 타워만 학습.
**적응형 하이퍼파라미터**: 오디오와 영상 모달리티에 맞는 보상 구성, 노이즈 강도, 손실 가중치를 사용.
**5DAV 데이터셋**: 5,760개의 프롬프트를 5차원으로 분리하여 샘플링 조건을 제어 가능하게 함.
**Flow-GRPO 기반 학습**: SDE 기반 확률적 샘플링으로 GRPO를 적용. 각 샘플에 대해 보상(R)을 계산하고, 그룹 내 표준화된 advantage를 사용해 정책 업데이트.

주요 결과

**JavisBench**: AV-GRPO는 LTX-2.3 대비 Visual Quality (VQ) +12.3%, Audio Quality (AQ) +10.8%, AV-IB +15.1%, JavisScore +14.6% 개선.
**VABench**: SpeechQual&Nat +11.2%, Lip-Sync +13.5%, Artistry +12.7% 향상.
**LoRA 및 Full Fine-tuning**: 두 설정 모두에서 LTX-2.3과 GDPO를 상회.
**22B 모델 훈련**: 8개 A800 GPU로 전체 파인튜닝 가능.

의의 및 한계

AV-GRPO는 기존 AV 생성 모델의 주요 문제인 보상 신호 혼합과 학습 비용 증가를 해결하며, 모달리티별 학습 동작을 고려한 정밀한 보상 할당을 가능하게 한다. 5DAV 데이터셋은 샘플링 조건을 제어하여 학습을 시스템적으로 수행할 수 있게 한다.

그러나, 5DAV는 5,760개의 프롬프트로 구성되어 있어 대규모 데이터셋에 비하면 한정적일 수 있으며, 모달리티-앵커드 학습은 모달 간 상호작용을 완전히 반영하지 못할 가능성도 있다. 또한, 트레jectory-록드 프로세스는 모달리티 간 의존성을 일부 무시할 수 있는 단점이 있다.

실용적 활용

AV-GRPO는 영상 제작, 콘텐츠 자동 생성, VR/AR 등에서 오디오-영상의 정밀한 동기화와 의미 정렬이 필요한 분야에 적용 가능하다. 특히, 대규모 모델의 전체 파인튜닝이 가능하므로, 고해상도 AV 생성이나 실시간 생성 시스템 개발에도 유용할 수 있다.