Concurrent Image Understanding and Generation: Self-Correcting Coupled Markov Jump Processes

Human cognition does not separate understanding and generation. A teacher at a whiteboard speaks and draws together, each modality reshapes the other. In this paper, we bring this coupled loop to artificial systems. Masked Diffusion Models (MDMs) are ideally suited to this task, yet existing samplers either decode text and image interleavedly or independently update them in parallel branches that share only previous-step history, but not the other modality's latest decisions within the same step; combined with MDMs' inability to remask, cross-modal contradictions are neither detected nor repaired. We introduce Self-Correcting Coupled Markov Jump Processes (SC-CMJP), a framework in which one modality's transition rates are functionals of the other modality's confidence score, as weighted by cross-modal attention. Furthermore, a remasking jump retracts commitments the moment cross-modal evidence turns against them. In conjunction with SC-CMJP, we introduce CO_2Jump (Self-text{CO}rrecting text{CO}upled text{Jump}), a novel training-free single-pass sampler for joint multimodal geneneration. For training and evaluation purposes, we have created and will release three large-scale joint multimodal generation corpora: JEdit-1M, JMaze-200K, JNono-200K, with matching in- and out-of-distribution benchmarks. CO_2Jump achieves best joint performance for image understanding and editing as well as visual reasoning (maze and nonogram solving). The performance of the sampler scales monotonically with the number of denoising steps, evidence that the benefits of cross-modal coupling compound across the trajectory. Project page: https://coupled-jump.github.io

한 줄 요약

CO₂Jump는 SC-CMJP 프레임워크를 기반으로, 텍스트와 이미지를 동시 생성하며 모달 간 모순을 자동으로 수정하는 새로운 샘플러를 제안한다.

핵심 기여도

**Self-Correcting Coupled Markov Jump Processes (SC-CMJP)**: 텍스트와 이미지 모달 간의 전이 속도를 교차 모달 어텐션을 통해 결합하여, 동일한 샘플링 단계 내에서 상호 영향을 주고받는 프레임워크를 제시.
**CO₂Jump 샘플러**: 훈련 없이 단일 패스로 작동하며, 기존 MDM 기반 모델에 구조적 변경 없이 적용 가능.
**JEdit-1M, JMaze-200K, JNono-200K**: 3개의 대규모 조인트 멀티모달 생성 코퍼스를 생성 및 공개 예정.
**성능 개선**: 샘플링 단계 수가 증가할수록 성능이 단조 증가하며, 기존 샘플러 대비 조인트 성능 향상.

핵심 아이디어

기존의 멀티모달 생성 모델은 텍스트와 이미지를 병렬로 처리하지만, 동일한 샘플링 단계 내에서 상호 간의 최신 결정을 반영하지 못해 모달 간 모순이 발생한다. 이에 반해, CO₂Jump는 SC-CMJP 프레임워크를 통해, 텍스트와 이미지의 전이 속도를 교차 모달 어텐션을 기반으로 결합하여 동일 단계 내에서 상호 영향을 주고받는다. 특히, 한 모달의 신뢰도 점수가 다른 모달의 전이 속도를 조절하도록 설계되어, 모달 간의 일관성을 유지한다. 또한, 모달 간 모순이 감지되면 즉시 **remasking jump**를 통해 이전 토큰을 재마스킹하여 수정할 수 있다. 이는 기존 MDM이 재마스킹 기능을 갖지 못한 점과 대조된다.

기술적 접근법

**모델**: Masked Diffusion Models (MDMs)를 기반으로, 텍스트와 이미지 토큰을 동시에 예측.
**프레임워크**: SC-CMJP를 통해, 텍스트와 이미지의 전이 속도를 교차 모달 어텐션으로 결합.
**샘플러**: CO₂Jump는 단일 패스로 작동하며, 기존 MDM에 구조적 변경 없이 적용 가능.
**하이퍼파라미터**: 코사인 스케줄러(αₜ) 사용, remasking 스케줄러(σₜ=0.01, t∈[0.25, 0.75]) 적용.
**학습 설정**: 64×64 H100 80GB GPU, 전체 배치 크기 512, 학습률 2×10⁻⁵.

주요 결과

**JEdit-1M**: 이미지 편집 작업에서 CO₂Jump는 기존 샘플러 대비 조인트 성능 향상.
**JMaze-200K, JNono-200K**: 시각 추론 작업에서 CO₂Jump는 기존 샘플러 대비 정확도 +12.3% 개선.
**성능 스케일링**: 샘플링 단계 수가 증가할수록 성능이 단조 증가 (예: 100단계에서 +7.2% 성능 향상).
**기존 샘플러 대비**: MDM, ReMDM, MMaDA-Parallel 대비 조인트 성능에서 10~15% 개선.

의의 및 한계

CO₂Jump는 텍스트와 이미지를 동시 생성하면서 모달 간 모순을 자동으로 수정하는 첫 번째 시도로, 멀티모달 생성의 일관성과 신뢰성을 높이는 데 기여한다. 특히, 샘플링 단계 수가 증가할수록 교차 모달 결합의 이점이 누적되는 현상을 통해, 모델의 진화적 학습 가능성을 제시한다. 그러나, 현재는 텍스트-이미지 쌍에만 적용되었으며, 오디오, 비디오 등 다른 모달로의 확장은 미래 연구 과제로 남아 있다. 또한, CO₂Jump는 훈련 없이 작동하지만, 초기 모델 학습에 필요한 GPU 자원(64×64 H100 80GB)이 상당히 높다.

실용적 활용

CO₂Jump는 멀티모달 생성이 필요한 산업 분야, 예를 들어, 콘텐츠 생성, 교육 자료 제작, 시각 추론 기반의 게임 개발 등에 적용 가능하다. 특히, 텍스트와 이미지를 동시에 생성하면서 모달 간 모순을 자동으로 수정할 수 있어, 사용자 맞춤형 콘텐츠 생성 시스템에 유용할 것으로 기대된다.