Mine, Sample, Render: Test-Time Diversity Alignment Of Generative Models

Modern generative models produce high-quality individual outputs but struggle to sample diversely, even when explicitly instructed to do so. We introduce MINE-SAMPLE-RENDER (MSR), a test-time approach that externalizes the diversity into an explicit, corpus-derived sampling procedure. Our pipeline (i) mines an interpretable categorical schema from a corpus of real artifacts and supplies statistics for sampling; (ii) samples attribute configurations from the corpus-derived statistics; (iii) uses a generative model purely as a conditional renderer of a sampled configuration. Across weather report generation, user simulation, webpage design, text-to-image generation, and agent-generated 3D assets, we evaluate the diversity and output quality of MSR-guided generation and show that MSR improves alignment with corpus distributions and diversity of generated outputs.

한 줄 요약

MSR은 테스트 타임에 생성 모델의 다양성을 향상시키기 위해 실제 데이터셋에서 속성 분포를 추출하고 샘플링하는 프레임워크이다.

핵심 기여도

MSR은 테스트 타임에만 작동하는 훈련 없는 프레임워크로, 생성 모델의 내재적 선택을 샘플링 과정과 분리한다.
실제 데이터셋에서 속성 스키마를 추출(Mine)하고, 그 분포에 따라 샘플링(Sample)한 후 생성(Render)하는 3단계 파이프라인을 제안한다.
웹페이지 설계, 텍스트-이미지 생성, 3D 자산 생성 등 다양한 도메인에서 생성 다양성이 향상됨을 보인다.
기존 생성 모델이 실제 분포와의 간극을 유지하는 문제를 해결한다.

핵심 아이디어

기존 생성 모델은 품질은 높지만, 실제 데이터의 다양성을 재현하지 못한다. MSR은 이 문제를 해결하기 위해 테스트 타임에만 작동하는 외부 샘플링 파이프라인을 도입한다. 첫 번째 단계인 **Mine**에서는 실제 데이터 코퍼스에서 해석 가능한 범주적 속성 스키마를 추출하고, 이 속성들의 결합 분포를 추정한다. 두 번째 단계인 **Sample**에서는 추출된 분포를 기반으로 속성 구성(configuration)을 샘플링한다. 마지막 단계인 **Render**에서는 샘플링된 속성 구성에 따라 생성 모델을 조건부 렌더러로 활용한다. 이는 생성 모델이 "무엇을 생성할 수 있는가"와 "얼마나 자주 생성되어야 하는가"를 분리하는 핵심 아이디어이다.

기술적 접근법

**Mine**: 실제 코퍼스에서 소규모 아티팩트 집단을 비교하여 속성을 추출하고, 이들의 결합 분포를 추정한다.
**Sample**: 추출된 속성 분포를 기반으로 샘플링하여 새로운 아티팩트의 구성(configuration)을 생성한다.
**Render**: 샘플링된 구성에 따라 생성 모델 또는 툴-사용 에이전트가 아티팩트를 생성한다.
사용 도메인: weather report generation, user simulation, webpage design, text-to-image generation, agent-generated 3D assets.
사용 모델: LLM, 텍스트-이미지 생성 모델, 툴-사용 에이전트.
훈련 없이 테스트 타임에만 작동하는 프레임워크.

주요 결과

웹페이지 설계에서 MSR은 프롬프트 기반 기준 대비 생성 다양성을 크게 향상시킨다.
텍스트-이미지 생성에서 최신 생성 모델의 샘플 다양성이 MSR의 가이드로 향상됨을 보인다.
3D 자산 생성에서 MSR은 생성 자산의 다양성과 품질을 모두 향상시킨다.
사용자 시뮬레이션에서 MSR은 LLM 생성 사용자 행동과 실제 사용자 행동 간의 분포 간극을 줄인다.

의의 및 한계

MSR은 생성 모델이 실제 데이터 분포와 더 잘 맞춰질 수 있도록 테스트 타임에만 작동하는 샘플링 프레임워크를 제시한다. 이는 학술적으로는 생성 모델의 다양성 문제를 해결하는 새로운 접근법이며, 실용적으로는 시뮬레이션, 디자인, 자산 생성 등 다양한 분야에서 적용 가능하다. 그러나 MSR은 훈련 없이 작동하므로, 모델이 명시적으로 지시받지 않으면 생성 능력이 제한될 수 있다. 또한, 코퍼스의 질과 해석 가능한 속성 추출의 정확도가 최종 결과에 큰 영향을 미친다.

실용적 활용

MSR은 웹사이트 디자인, 사용자 시뮬레이션, 3D 자산 생성, 텍스트-이미지 생성 등 다양한 생성 AI 응용 분야에서 실제 데이터 분포와 일치하는 다양성을 보장할 수 있다. 특히, 훈련 없이 테스트 타임에만 작동하므로, 기존 모델에 쉽게 적용 가능하다.