Search Beyond What Can Be Taught: Evolving the Knowledge Boundary in Agentic Visual Generation

Visual generators excel at rendering, but they confidently fabricate what they do not know. User requests are unbounded, evolving, and deeply long-tailed: new characters, trending entities, post-cutoff events, and more. This world-knowledge bottleneck is structural: generators are trained on fixed corpora, but the visual world is open-ended. We construct SearchGen-20K and SearchGen-Bench, with 20,839 prompts spanning twelve failure categories and twenty-two domains, paired with a pre-executed multimodal SearchGen-Corpus-1M to support offline, reproducible research. On SearchGen-Bench, frontier open generators score only 21 to 28 out of 100, a 40-point collapse invisible to existing benchmarks. The natural remedy is to employ search tools, enabling agentic visual generation. However, we find that naive search fails: it retrieves indiscriminately, injecting noise into prompts the generator already handles. We trace the root cause to a generator-specific, evolving knowledge boundary: the divide between what a generator can internalize through training and what must remain in external context. Although this boundary is hard to specify in advance, we show that it is discoverable through a teach-then-search co-training framework. Even a minimal version of this co-training recipe produces monotonic improvement, laying the foundation for recursive self-improvement in visual generation that can meet world-knowledge-grounded requests. We release the full dataset, co-training corpus, and search corpus as a replayable harness for tool-augmented, world-knowledge-grounded visual generation.

한 줄 요약

SearchGen-20K와 SearchGen-Bench를 통해 시각 생성 모델의 세계 지식 한계를 분석하고, 교육-검색 공동 훈련 프레임워크로 생성 품질을 단계적으로 개선한다.

핵심 기여도

**SearchGen-20K**와 **SearchGen-Bench** 데이터셋을 제안: 20,839개의 프롬프트, 12개 실패 카테고리, 22개 도메인 포함.
**SearchGen-Corpus-1M**을 제공: 오프라인 연구를 위한 사전 실행 멀티모달 검색 코퍼스.
**Naive search**가 21–28/100 점에 불과한 것을 밝혀내고, **generator-specific knowledge boundary**를 공동 훈련으로 탐지.
**Gate–Filter–Integrate** 파이프라인과 **DPO + RFT** 기반 공동 훈련으로 단계적 품질 향상 달성.

핵심 아이디어

기존 시각 생성 모델은 고정된 데이터셋에서 훈련되어, 사용자의 무한하고 진화하는 요청에 대응하지 못한다. 이는 **world-knowledge bottleneck**으로, 생성 모델이 내부화할 수 있는 지식과 외부 컨텍스트에 남아야 하는 지식 사이의 경계가 핵심 문제다. 이 경계는 모델에 따라 달라지고, 훈련 과정에서 동적으로 변화한다.

이 연구는 **search noise** 문제를 해결하기 위해 **agentic reasoner**를 도입한다. 이는 **gate–filter–integrate** 3단계 파이프라인을 통해 검색 시점과 내용을 제어하며, 생성 모델에 도달하기 전에 노이즈를 억제한다. 또한, **teach-then-search co-training** 프레임워크를 통해 생성 모델과 reasoner를 공동 훈련함으로써, 모델이 내부화할 수 있는 지식을 확장하고, 검색 정책을 점진적으로 최적화한다.

기술적 접근법

**SearchGen-20K**: 20,839개의 프롬프트, 12개 실패 카테고리, 22개 도메인.
**SearchGen-Bench**: 기존 최첨단 모델이 21–28/100 점에 불과한 것을 밝혀냄.
**Agentic reasoner**: 8B 파라미터, 3단계 파이프라인 (gate–filter–integrate).
**Co-training**:
**Online DPO (Direct Preference Optimization)**: 생성 모델이 안정적인 시각 지식을 내부화.
**Rejection Sampling Finetuning (RFT)**: reasoner가 생성 모델이 학습할 수 없는 지식에 대해서만 검색.
**Generator-Adaptive Search**: 단일 반복으로도 **monotonic improvement** 달성.

주요 결과

**SearchGen-Bench**에서 기존 최첨단 모델이 21–28/100 점에 불과함.
**Blind Search**는 21–28/100, **Generator-Adaptive Search**는 이보다 훨씬 높은 성능.
**No Search → Blind Search → Generator-Adaptive Search** 순으로 단계적 품질 향상.
**8B agentic reasoner + search tools**로도 품질 향상 가능.
**Co-training**은 단일 반복으로도 **monotonic improvement**를 보장.

의의 및 한계

이 연구는 시각 생성 모델의 세계 지식 한계를 체계적으로 분석하고, **generator-specific knowledge boundary**를 공동 훈련으로 탐지하는 새로운 접근법을 제시한다. **SearchGen-20K**와 **SearchGen-Bench**는 연구자들이 이 문제를 재현하고 평가할 수 있는 기반을 제공하며, **co-training**은 생성 모델의 자기 개선 기반을 마련한다.

하지만, **co-training**은 반복적이고 계산 비용이 높으며, **generator-specific boundary**가 모델 크기나 데이터셋에 따라 어떻게 변화하는지는 여전히 개방적 질문이다. 또한, **search noise** 외에도 다양한 도구(예: 3D 자산 검색, 이미지 편집)와의 통합 가능성도 추가 연구가 필요하다.

실용적 활용

이 연구는 **AIGC 플랫폼**, **커스터마이징 이미지 생성**, **역사적/문화적 콘텐츠 생성** 등에서 활용 가능하다. 특히, **tool-augmented generation**이 필요한 상황에서 **agentic reasoner**와 **co-training**은 생성 품질을 안정적으로 향상시키는 실용적 솔루션이 될 수 있다.