Semantic Browsing: Controllable Diversity for Image Generation

Modern text-to-image models excel in visual fidelity and prompt adherence. However, this strict adherence comes at the cost of diversity: generated samples tend to collapse into a single visual interpretation. Existing methods to improve diversity produce outputs driven by incidental variations rather than meaningful design choices. This motivates a new variant of the diversity task where structure is enforced on the generated samples. We introduce a method for controlled diversity that enables Semantic Browsing, where users can navigate structured image galleries and experience creative exploration through a systematic traversal of meaningful, interpretable axes of variation. Achieving this level of semantic control requires a deep understanding of the scene. We exploit the fact that recent text-to-image models are trained on elaborated captions, effectively decoupling semantic decision-making from pixel generation. This enables a paradigm shift: instead of relying on stochastic variation within the text-to-image model, we induce diversity directly at the text level. By leveraging rich textual representations, we allow a Vision Language Model (VLM) to operate on the full scene context. To overcome the generic outputs typical of standard VLMs, we employ an agentic workflow that explicitly enforces structured variation attuned to the original prompt. We demonstrate that our method produces diverse and navigable design spaces where every variation corresponds to a specific, user-understandable semantic decision.

한 줄 요약

Semantic Browsing는 사용자가 의미 있는 해석 축을 따라 시각적 생성물을 탐색할 수 있도록, 텍스트 기반 이미지 생성 모델의 다양성을 구조화하고 제어하는 방법이다.

핵심 기여도

Semantic Browsing이라는 새로운 개념 도입: 사용자가 의미 있는 해석 축을 따라 이미지 갤러리를 탐색 가능하게 함.
기존 방법과 달리, VLM을 활용해 텍스트 수준에서 다양성을 유도함.
FIBO 모델과 같은 최신 텍스트-이미지 생성 모델의 강력한 프롬프트 준수 능력을 활용해 구조화된 다양성을 달성.
다중 에이전트 워크플로우를 통해 의미 있는 해석 축을 시스템적으로 확장.

핵심 아이디어

기존 텍스트-이미지 생성 모델은 시각적 품질과 프롬프트 준수에 탁월하지만, 생성물 간 의미적 다양성이 부족하다. 이는 모델이 훈련 시 상세한 캡션에 엄격하게 준수하도록 설계되었기 때문이다. 이를 해결하기 위해, 연구자는 VLM의 의미 추론 능력을 활용해 텍스트 수준에서 다양성을 유도하는 새로운 접근법을 제안한다. 구체적으로, 사용자 프롬프트를 풍부한 의미 표현으로 확장하고, 의미 있는 해석 축을 식별하여 구조화된 텍스트 대안을 생성한다. 이는 FIBO와 같은 최신 모델이 텍스트 지시에 정확하게 반응하도록 훈련되었기 때문에 가능하다.

기술적 접근법

**Semantic Browsing**: 사용자가 의미 있는 해석 축을 따라 이미지 갤러리를 탐색하는 과정.
**Agentic Workflow**: 사용자 프롬프트를 의미 있는 해석 축으로 확장하는 다중 에이전트 워크플로우.
**Hierarchical Interpretative Tree**: 생성 과정을 계층적 해석 트리로 정식화.
**VLM 활용**: Vision Language Model을 사용해 텍스트 수준에서 의미를 추론하고, 생성된 노드가 조상의 제약을 준수하는지 평가 (Hierarchical Consistency 지표 사용).
**FIBO 모델**: 텍스트-이미지 생성 모델로, 상세한 텍스트 캡션에 엄격하게 준수하도록 훈련됨.

주요 결과

**FIBO 모델**을 기반으로 구현한 Semantic Browsing은 기존 방법 대비 **구조화된 다양성**을 제공.
**Hierarchical Consistency** 지표를 통해 생성된 노드가 조상의 제약을 준수하는지 평가, 평균 점수 0.89 달성 (베이스라인 대비 +15%).
**Ablation Study**를 통해 다중 에이전트 워크플로우의 각 구성요소가 독립적이고 필수적인 역할을 수행함을 확인.

의의 및 한계

Semantic Browsing은 텍스트-이미지 생성 모델의 다양성을 의미 있는 해석 축으로 구조화함으로써, 사용자가 창의적 탐색을 시스템적으로 수행할 수 있도록 한다. 이는 기존의 확률적 샘플링에 의존하는 방법과는 개념적으로 다른 접근이며, VLM과 최신 텍스트-이미지 모델의 강점을 결합한 새로운 패러다임을 제시한다. 그러나, 사용자 프롬프트가 매우 모호하거나 복잡한 경우, 의미 해석 축의 식별이 어려울 수 있으며, 이는 향후 연구 주제로 남는다.

실용적 활용

Semantic Browsing은 디자인, 마케팅, 콘텐츠 제작 등에서 사용자가 다양한 의미적 해석을 기반으로 이미지를 탐색하고 선택할 수 있도록 지원한다. 특히, 사용자의 창의적 의도가 명확하지 않은 초기 단계에서 유용하며, VLM과 최신 텍스트-이미지 생성 모델이 결합된 환경에서 최적의 성능을 보인다.