UFO: Chain-of-Evaluation for Omni-Condition Alignment in Multi-Modal Image Generation

Multi-modal image generation, particularly subject-driven customization, has garnered growing attention in recent years. Despite the rapid advancement of generative models, their evaluation remains largely lagging. Existing methods, whether embedding-based or Multi-modal Large Language Model (MLLM)-based, evaluate alignment with each modal condition in isolation, which contradicts the simultaneous condition alignment objective of multi-modal image generation, leading to poor consistency with human judgments. To address this challenge, we propose UFO, the first unified framework for omni-condition alignment simultaneous evaluation. Specifically, UFO introduces a novel Atomized Chain-of-Evaluation paradigm, i.e., it first decomposes omni-condition alignment into a sequential chain of fine-grained, disentangled Atomic Evaluation Units (AEUs), categorizes them into distinct modality-relevance classes, and then employs general or dedicated functional calls for accurate verification of different AEU types. Experimental results demonstrate that UFO achieves the highest correlation with human evaluation preferences, delivering an average improvement of 15.25%. Furthermore, we present UFO-Bench, a dedicated benchmark designed to holistically evaluate the performance of existing customization models under the diverse mutual interactions of textual and visual conditions.

한 줄 요약

UFO는 다중 조건 일치 평가를 위한 체인형 평가 프레임워크로, 기존 방법 대비 15.25% 높은 인간 평가와의 상관성을 달성했다.

핵심 기여도

UFO는 첫 번째 **Omni-condition alignment**를 동시 평가하는 통합 프레임워크이다.
**Atomized Chain-of-Evaluation** 패러다임을 도입하여 조건 일치를 **Atomic Evaluation Units (AEUs)**로 분해하고 분류한다.
**ArcFace**를 활용한 고정밀 **identity verification** 기능 호출을 포함한 **AEU-level scoring**을 제안한다.
UFO-Bench라는 새로운 벤치마크를 제시하여 기존 모델의 다중 조건 상호작용 평가를 가능하게 한다.

핵심 아이디어

기존 평가 방법은 텍스트와 이미지 조건을 **분리된 상태에서 평가**하여, 실제 생성 이미지가 **동시에 여러 조건을 만족하는지**를 정확히 평가하지 못한다. 예를 들어, 텍스트 조건에 따라 머리카락 색을 변경해야 하는 경우, 기존 평가 방법은 시각적 유사도만 고려하여 변경 여부를 판단하지 못해 **false positive** 또는 **false negative**가 발생한다. UFO는 이러한 문제를 해결하기 위해 **Atomized Chain-of-Evaluation** 패러다임을 도입한다. 이는 생성 이미지의 일치 여부를 **AEUs**로 분해하고, 각 AEU를 **텍스트 조건, 시각 조건, 또는 이 둘의 통합 조건**으로 분류한 후, **VQA 쿼리**나 **ArcFace**와 같은 전용 기능을 사용하여 정확하게 평가한다. 이 방식은 기존의 **holistic scoring** 방식과 달리 **세부 조건까지 정밀하게 평가**할 수 있는 장점을 가진다.

기술적 접근법

**UFO Framework**:
**AEUs (Atomic Evaluation Units)**로 조건 일치를 분해하고, **local concrete component**와 **global abstract attribute** 두 수준에서 평가한다.
각 AEU는 **visual, textual, dual-modality**로 분류된다.
**VQA 쿼리** 또는 **ArcFace**와 같은 전용 기능을 사용하여 AEU별 일치 점수를 산출한다.
**adaptive importance weighting**을 통해 AEU별 점수를 종합적으로 가중 평가하여 최종 점수를 산출한다.
**UFO-Bench**:
7개 주요 범주(예: 인간, 빛물체, 애니메이션 캐릭터)에 걸쳐 86개의 참조 이미지를 포함.
3단계 편집 난이도와 **81.97%의 충돌 조건 쌍**을 포함한 계층적 프롬프팅 전략을 채택.
기존 벤치마크 대비 텍스트-시각 조건 상호작용을 더 다양하게 평가할 수 있도록 설계됨.

주요 결과

UFO는 기존 평가 방법 대비 **15.25%의 평균 상관도 향상**을 달성함.
**Ablation Study** 결과, **AEU 분해 전략**을 제거하면 상관도가 0.6889 → 0.5752로 **15% 이상 감소**함.
**Uniform weighting**을 사용하면 상관도가 0.6889 → 0.6253으로 **6% 감소**함.
UFO-Bench는 기존 벤치마크 대비 **더 복잡한 조건 상호작용**을 평가할 수 있음.

의의 및 한계

UFO는 기존 평가 방법의 한계를 극복하고, **다중 조건 일치를 동시 평가**할 수 있는 체계적인 프레임워크를 제시함. 특히, **ArcFace**를 활용한 정밀한 **identity verification**은 기존 평가 방법이 간과했던 세부 조건까지 평가할 수 있게 함. UFO-Bench는 기존 벤치마크 대비 **더 다양한 조건 상호작용**을 평가할 수 있도록 설계되어, 연구진이 모델 성능을 **정확하게 측정**할 수 있도록 지원함. 그러나 UFO는 **전용 기능 호출**(예: ArcFace)에 의존하므로, 이러한 기능이 없는 환경에서는 활용이 제한될 수 있음.

실용적 활용

UFO는 **주체 중심의 이미지 생성**(subject-driven customization) 분야에서 모델 평가를 위한 표준 프레임워크로 활용될 수 있음. 예를 들어, **패션 디자인**, **게임 캐릭터 생성**, **광고 이미지 제작** 등에서 텍스트와 이미지 조건을 동시에 반영한 생성 이미지의 일치도를 정확히 평가하는 데 유용함. 또한, UFO-Bench는 연구자들이 **복잡한 조건 상호작용**을 고려한 모델 개선을 촉진하는 데 기여할 수 있음.