T2I-R1: Reinforcing Image Generation with Collaborative Semantic-level and Token-level CoT

Recent advancements in large language models have demonstrated how chain-of-thought (CoT) and reinforcement learning (RL) can improve performance. However, applying such reasoning strategies to the visual generation domain remains largely unexplored. In this paper, we present T2I-R1, a novel reasoning-enhanced text-to-image generation model, powered by RL with a bi-level CoT reasoning process. Specifically, we identify two levels of CoT that can be utilized to enhance different stages of generation: (1) the semantic-level CoT for high-level planning of the prompt and (2) the token-level CoT for low-level pixel processing during patch-by-patch generation. To better coordinate these two levels of CoT, we introduce BiCoT-GRPO with an ensemble of generation rewards, which seamlessly optimizes both generation CoTs within the same training step. By applying our reasoning strategies to the baseline model, Janus-Pro, we achieve superior performance with 13% improvement on T2I-CompBench and 19% improvement on the WISE benchmark, even surpassing the state-of-the-art model FLUX.1. Code is available at: https://github.com/CaraJ7/T2I-R1

한 줄 요약

T2I-R1은 강화 학습 기반의 이중 수준 CoT를 도입하여 텍스트-이미지 생성 성능을 13~19% 향상시킨 모델이다.

핵심 기여도

**이중 수준 CoT**(semantic-level CoT + token-level CoT)를 텍스트-이미지 생성에 처음으로 통합.
**BiCoT-GRPO**라는 강화 학습 프레임워크를 제안하여 두 수준의 CoT를 동일한 학습 단계에서 최적화.
**Janus-Pro** 기반 모델에 적용하여 T2I-CompBench에서 +13%, WISE 벤치마크에서 +19% 개선.
**FLUX.1**을 초과하는 성능을 달성하며, 생성 이미지의 다양성과 미학적 품질도 향상.

핵심 아이디어

기존 텍스트-이미지 생성 모델은 주로 토큰 수준의 생성 과정만 고려했으나, T2I-R1은 생성 과정을 두 가지 수준으로 구분하여 **이중 수준의 CoT**(Chain-of-Thought)를 도입한다.

첫 번째는 **semantic-level CoT**로, 텍스트 프롬프트를 기반으로 이미지의 전체 구조를 계획하는 고수준 추론이다. 예를 들어, 객체의 위치나 형태를 사전에 정의함으로써 생성 과정을 안정화시킨다. 두 번째는 **token-level CoT**로, 패치 단위로 이미지를 생성하는 과정에서 저수준의 픽셀 처리와 시각적 일관성을 유지하는 역할을 한다.

이 두 수준의 CoT는 **BiCoT-GRPO**라는 강화 학습 알고리즘을 통해 통합적으로 최적화된다. 이는 단일 학습 단계에서 **다양한 생성 보상**(vision experts 기반 reward ensemble)을 사용하여 두 수준의 추론을 동시에 학습하게 한다. 이는 기존의 분리된 학습 방식과 달리, 추론과 생성을 유기적으로 연결할 수 있는 핵심 아이디어이다.

기술적 접근법

**모델 기반**: Janus-Pro를 기반으로 Unified Large Multi-modal Model(ULM) 활용.
**이중 수준 CoT**:
**Semantic-level CoT**: 프롬프트 해석 및 이미지 구조 계획.
**Token-level CoT**: 패치 단위 생성 과정에서 픽셀 수준의 일관성 유지.
**BiCoT-GRPO 알고리즘**:
강화 학습을 사용하여 두 수준의 CoT를 동시에 최적화.
**Group-Relative Policy Optimization (GRPO)** 기반.
**Reward 모델**: 다양한 vision experts를 활용한 reward ensemble.
**학습 전략**:
각 프롬프트당 여러 이미지 생성 후, 그룹 상대적 보상을 계산.
**Supervised Fine-Tuning(SFT)** 대신 RL을 사용하여 모델의 자가 탐색 유도.

주요 결과

**T2I-CompBench**: 기존 모델 대비 +13% 개선.
**WISE 벤치마크**: 기존 모델 대비 +19% 개선.
**FLUX.1** 모델을 초과하는 성능.
**Vendi Score** 기반 평가에서 semantic-level CoT가 포함된 경우, 생성 이미지의 다양성이 +10% 이상 향상됨.
**미학적 품질**도 token-level CoT와 semantic-level CoT를 동시에 최적화할 때 가장 높은 점수를 기록.

의의 및 한계

T2I-R1은 텍스트-이미지 생성 분야에서 추론 기반 생성을 가능하게 한 첫 번째 모델로, **고수준 계획**(semantic-level)과 **저수준 생성**(token-level)을 통합적으로 최적화하는 새로운 패러다임을 제시한다. 기존에는 별도의 모델(예: LLM)을 사용하여 프롬프트 해석을 수행하는 방식이 일반적이었으나, T2I-R1은 **단일 ULM 내에서 두 기능을 통합**하여 계산 비용과 복잡도를 줄였다.

하지만, 본 연구는 **비전 전문가 기반 reward ensemble**을 사용하므로, 이 reward 모델의 편향성이나 일반화 능력은 아직 명시되지 않았다. 또한, **비정상적인 상황**(uncommon scenarios)에서의 성능은 향후 연구가 필요하다는 점이 언급된다.

실용적 활용

T2I-R1은 복잡한 텍스트 프롬프트를 해석하고, 시각적 일관성을 유지하면서 고해상도 이미지를 생성해야 하는 **광고, 콘텐츠 제작, 게임 개발** 등 다양한 산업 분야에 적용 가능하다. 특히, 사용자의 **은근한 의도**(true intention)를 추론하여 더 인간 친화적인 결과를 생성하는 능력은 **사용자 맞춤형 이미지 생성** 시스템 개발에 유용하다.