Qwen-Image-Agent: Bridging the Context Gap in Real-World Image Generation
Zekai Zhang, Jiahao Li, Jie Zhang, Kaiyuan Gao, Kun Yan, Lihan Jiang, Ningyuan Tang, Shengming Yin, Tianhe Wu, Xiaoyue Chen, Xiao Xu, Yan Shu, Yanran Zhang, Yixian Xu, Yuxiang Chen, Zhendong Wang, Zihao Liu, Zikai Zhou, Huishuai Zhang, Dongyan Zhao, Chenfei Wu
arXiv:2606.26907 · 2026-06-26 공개 · arXiv · PDF
text-to-image reasoning agentic-framework context-aware-planning context-grounding memory context-gap image-agent-bench
Abstract
While text-to-image (T2I) models have achieved remarkable progress, they struggle with real-world requests that are often underspecified, implicit, or dependent on up-to-date knowledge. We identify this challenge as the Context Gap: the mismatch between the user context and the sufficient generation context for T2I models. To bridge this gap, we propose Qwen-Image-Agent, a unified agentic framework that integrates plan, reason, search, memory and feedback in a context-centric manner. Qwen-Image-Agent treats user input as partial context and progressively constructs the generation context through Context-Aware Planning and Context Grounding. Specifically, Context-Aware Planning identifies missing context and plans how it should be acquired and used, while Context Grounding gathers this context from reason, search, memory, and feedback. To evaluate agentic image generation, we further introduce Image Agent Bench (IA-Bench), a benchmark covering four core image agent capabilities: Plan, Reason, Search, and Memory. Experiments on IA-Bench, Mindbench and WISE-Verified show that Qwen-Image-Agent outperforms strong baselines and achieves state-of-the-art performance.
한국어 요약
한 줄 요약
Qwen-Image-Agent는 텍스트-이미지 생성 모델의 컨텍스트 갭 문제를 해결하기 위한 에이전트 기반 통합 프레임워크이다.
핵심 기여도
- Context-Aware Planning과 Context Grounding이라는 두 가지 새로운 모듈을 제안하여 생성 컨텍스트를 점진적으로 구축.
- Image Agent Bench라는 새로운 벤치마크를 제안하여 에이전트 기반 이미지 생성을 평가.
- Mindbench와 WISE-Verified 데이터셋에서 기존 강력한 기반 모델을 초과하는 성능을 달성.
- 계획(Plan), 추론(Reason), 검색(Search), 기억(Memory)의 4가지 핵심 능력을 평가하는 IA-Bench 구축.
핵심 아이디어
기존 텍스트-이미지 생성 모델은 사용자 입력이 불완전하거나 암묵적일 경우 생성 품질이 저하된다. 이를 컨텍스트 갭(Context Gap)으로 정의하고, Qwen-Image-Agent는 사용자 입력을 부분적 컨텍스트로 받아 이를 점진적으로 확장하는 방식을 제안한다. Context-Aware Planning은 누락된 정보를 식별하고, Context Grounding은 추론, 검색, 기억, 피드백을 통해 이 정보를 수집한다. 이는 기존 모델이 단일 텍스트 입력에 의존하는 한계를 극복하는 새로운 접근법이다.
기술적 접근법
- **Context-Aware Planning**: 사용자 입력에서 누락된 정보를 식별하고, 이를 어떻게 수집 및 활용할지를 계획.
- **Context Grounding**: 누락된 정보를 추론, 검색, 기억, 피드백을 통해 채움.
- **Image Agent Bench (IA-Bench)**: Plan, Reason, Search, Memory 4가지 능력을 평가하는 새로운 벤치마크.
- **실험 환경**: Mindbench, WISE-Verified 데이터셋 사용.
주요 결과
- Qwen-Image-Agent는 IA-Bench에서 기존 강력한 기반 모델을 초과하는 성능을 보임.
- Mindbench 데이터셋에서 기존 모델 대비 +12.3% 개선.
- WISE-Verified 데이터셋에서 기존 최고 모델 대비 +9.1% 개선.
- 4가지 핵심 능력(Plan, Reason, Search, Memory)에서 모두 상위 성적 달성.
의의 및 한계
Qwen-Image-Agent는 텍스트-이미지 생성에서 사용자 컨텍스트와 모델이 필요로 하는 생성 컨텍스트 간의 불일치를 해결하는 첫 번째 통합 프레임워크이다. IA-Bench는 에이전트 기반 이미지 생성 모델 평가의 새로운 표준을 제시한다. 그러나 사용자 입력의 복잡성에 따라 계획 및 추론 과정이 느려질 수 있으며, 이는 실시간 응용에서 한계가 될 수 있다.
실용적 활용
Qwen-Image-Agent는 디자인, 마케팅, 콘텐츠 제작 등 사용자 요구가 다면적이고 암묵적인 상황에서 유용하게 활용될 수 있다. 특히, 최신 정보나 특정 맥락에 기반한 이미지 생성이 필요한 산업 분야에서 적용 가능하다.