Evaluating Text-to-Visual Generation with Image-to-Text Generation

Despite significant progress in generative AI, comprehensive evaluation remains challenging because of the lack of effective metrics and standardized benchmarks. For instance, the widely-used CLIPScore measures the alignment between a (generated) image and text prompt, but it fails to produce reliable scores for complex prompts involving compositions of objects, attributes, and relations. One reason is that text encoders of CLIP can notoriously act as a"bag of words", conflating prompts such as"the horse is eating the grass"with"the grass is eating the horse". To address this, we introduce the VQAScore, which uses a visual-question-answering (VQA) model to produce an alignment score by computing the probability of a"Yes"answer to a simple"Does this figure show '{text}'?"question. Though simpler than prior art, VQAScore computed with off-the-shelf models produces state-of-the-art results across many (8) image-text alignment benchmarks. We also compute VQAScore with an in-house model that follows best practices in the literature. For example, we use a bidirectional image-question encoder that allows image embeddings to depend on the question being asked (and vice versa). Our in-house model, CLIP-FlanT5, outperforms even the strongest baselines that make use of the proprietary GPT-4V. Interestingly, although we train with only images, VQAScore can also align text with video and 3D models. VQAScore allows researchers to benchmark text-to-visual generation using complex texts that capture the compositional structure of real-world prompts. We introduce GenAI-Bench, a more challenging benchmark with 1,600 compositional text prompts that require parsing scenes, objects, attributes, relationships, and high-order reasoning like comparison and logic. GenAI-Bench also offers over 15,000 human ratings for leading image and video generation models such as Stable Diffusion, DALL-E 3, and Gen2.

한 줄 요약

VQAScore를 제안하여 CLIPScore보다 향상된 텍스트-비주얼 생성 모델 평가를 실현하고, GenAI-Bench라는 새로운 벤치마크를 소개한다.

핵심 기여도

VQAScore는 VQA 모델을 활용하여 "이 그림이 '{텍스트}'를 보여주는가?"라는 질문에 대한 'Yes' 확률을 계산해 이미지-텍스트 정렬을 평가한다.
오픈소스 VQA 모델로 구현된 VQAScore가 8개의 이미지-텍스트 정렬 벤치마크에서 기존 최고 성능을 달성한다.
자체 개발된 CLIP-FlanT5 모델은 GPT-4V 기반의 베이스라인을 초과하며, 텍스트-비디오 및 텍스트-3D 모델 정렬도 가능하다.
GenAI-Bench는 1,600개의 구성적 텍스트 프롬프트와 15,000개 이상의 인간 평가를 포함한 새로운 평가 벤치마크를 제시한다.

핵심 아이디어

기존 CLIPScore는 텍스트 인코더가 "bag of words"처럼 작동하여, "말이 풀을 먹고 있다"와 "풀이 말을 먹고 있다" 같은 구조적 차이를 무시한다. 이를 해결하기 위해 VQAScore는 VQA 모델을 사용해 텍스트와 이미지의 정렬을 간단한 질문에 대한 확률로 평가한다. 이는 텍스트의 구성 구조를 더 정확히 반영한다. 핵심 아이디어는 질문-응답 형식을 통해 텍스트의 의미 구조를 분해하고, 이미지와의 일치 여부를 확률적으로 평가하는 방식이다. CLIP-FlanT5는 이미지-질문 임베딩을 양방향으로 처리하는 FlanT5 기반의 인코더-디코더 아키텍처를 사용하여, 인간의 상향 피드백과 유사한 방식으로 정렬을 개선한다.

기술적 접근법

**VQAScore**: "Does this figure show '{text}'?"라는 질문에 대한 "Yes" 확률을 계산하여 정렬 점수를 산출.
**CLIP-FlanT5**: CLIP 이미지 인코더와 FlanT5 언어 모델을 결합한 양방향 인코더-디코더 구조.
**질문-응답 형식**: 텍스트를 단순한 질문으로 변환하고, VQA 모델이 답변 확률을 생성.
**훈련 데이터**: 공개된 VQA 데이터셋을 사용한 fine-tuning.
**하이퍼파라미터**: 구체적 하이퍼파라미터는 명시되지 않음.

주요 결과

VQAScore는 Winoground, EqBen, TIFA160, Flickr8K, DrawBench, EditBench, COCO-T2I, Pick-a-Pic 등 8개의 이미지-텍스트 정렬 벤치마크에서 기존 최고 성능을 달성.
CLIP-FlanT5는 GPT-4V 기반의 베이스라인을 초과하며, 텍스트-비디오 및 텍스트-3D 모델 정렬도 가능.
GenAI-Bench는 1,600개의 구성적 텍스트 프롬프트와 15,000개 이상의 인간 평가 데이터를 포함.
Stable Diffusion, DALL-E 3, Gen2 등 주요 생성 모델의 평가 데이터를 제공.

의의 및 한계

VQAScore는 기존 CLIPScore의 한계를 극복하고, 텍스트의 구성 구조를 반영한 정확한 정렬 평가를 가능하게 한다. GenAI-Bench는 실제 세계의 복잡한 텍스트 프롬프트를 반영한 새로운 평가 기준으로, 연구자들이 생성 모델의 진정한 성능을 측정할 수 있도록 지원한다. 그러나 VQAScore는 생성 모델의 독성, 편향, 미학, 비디오 동작, 3D 물리학 등 다른 중요한 측면을 평가하지 못한다. 이는 관련 데이터로 fine-tuning하면 개선될 수 있다.

실용적 활용

VQAScore는 텍스트-이미지, 텍스트-비디오, 텍스트-3D 생성 모델의 정렬 평가에 활용 가능하다. GenAI-Bench는 생성 모델 개발자와 연구자들이 모델 성능을 체계적으로 비교하고, 향후 연구 방향을 설정하는 데 유용하다. 특히, 복잡한 텍스트 프롬프트를 처리하는 능력을 평가할 수 있어, 실제 응용 시나리오에 가까운 평가가 가능하다.