GenClaw: Code-Driven Agentic Image Generation

Image generation models have evolved from text-conditioned pixel synthesis toward multimodal agents endowed with visual comprehension and tool invocation capabilities. Yet, existing agents remain at the mercy of underlying black-box image models. Their workflow is trapped in a repetitive cycle of prompt rewriting for generation refinement, leaving them with no mechanism to directly manipulate the canvas. In essence, the potential of LLMs to serve as a genuine "brush" for precise visual construction remains largely untapped. In this paper, we propose GenClaw, a code-driven agentic image generation paradigm that empowers the agent to create like a human artist: first conceptualizing, then sketching, and finally coloring. Specifically, the agent first constructs the conceptual knowledge and context through search and reasoning. It then utilizes code (e.g., SVG, HTML, Three.js) to render executable visual sketches. Finally, it employs an image generation model to supplement textures, materials, and photorealism. In this workflow, code serves as a controllable intermediate canvas bridging linguistic reasoning and pixel synthesis, seamlessly integrating programmatic logic with the visual expressiveness of generative models. By transforming image generation from a black-box paradigm into a staged process akin to authentic human creation, GenClaw offers a step toward for highly controllable and interpretable visual generation systems.

📋 한 줄 요약

**[Agentic Image Generation / Code 기반]** GenClaw가 이미지 생성을 conceptualize→sketch→colorize 3 단계로 변환, agent가 SVG·HTML·Three.js로 executable 시각 sketch 렌더링 후 image model로 texture·material·photorealism 보완 — code를 controllable intermediate canvas로 사용.

🎯 핵심 기여도

이미지 생성 모델이 텍스트 조건 픽셀 합성에서 시각 이해·도구 호출 능력을 가진 multimodal agent로 진화했지만, 기존 agent가 underlying black-box 이미지 모델에 의존 — 워크플로가 생성 refinement용 prompt rewriting 반복 cycle에 갇혀 canvas 직접 조작 메커니즘 없음을 진단.
LLM이 정밀 시각 구성용 진정한 brush로 작동할 잠재력이 largely untapped 상태.
GenClaw 제안 — code-driven agentic 이미지 생성 paradigm으로 agent가 인간 artist처럼 창작 — 먼저 conceptualize, 그다음 sketch, 마지막 coloring.
구체적으로 agent가 먼저 검색·추론으로 conceptual knowledge·context 구성, 이후 code(SVG·HTML·Three.js 등)로 executable 시각 sketch 렌더링, 마지막에 이미지 생성 모델로 texture·material·photorealism 보완. 이 워크플로에서 code가 controllable intermediate canvas 역할 — 언어 추론과 픽셀 합성 사이를 bridging, 프로그래밍 logic과 generative 모델 시각 표현력을 seamless 통합.

💡 핵심 아이디어

Agentic 이미지 생성의 controllability·interpretability 한계는 prompt rewriting cycle에 갇혀 있어서이며, 인간 artist의 conceptualize→sketch→colorize 프로세스를 모방해 code(SVG·HTML·Three.js)를 controllable intermediate canvas로 활용하면 언어 추론과 픽셀 합성을 명시적으로 bridge할 수 있다.

🔬 기술적 접근법

**방법론**: GenClaw — code-driven 3 단계 agentic 이미지 생성.
**핵심 기법**: (1) 검색·추론으로 conceptual knowledge·context 구성(conceptualize), (2) SVG·HTML·Three.js code로 executable 시각 sketch 렌더링(sketch), (3) 이미지 생성 모델로 texture·material·photorealism 보완(coloring), (4) Code를 controllable intermediate canvas로 사용해 언어 추론·픽셀 합성 bridge, (5) 프로그래밍 logic과 generative 모델 시각 표현력 통합.

📊 주요 결과

이미지 생성을 black-box paradigm에서 인간 창작 유사 staged 프로세스로 transform.
Controllable·해석 가능 시각 생성 시스템 향한 step 제공.
Code intermediate canvas가 언어와 픽셀 사이 brigde 기능 검증.
Concrete 정량 수치는 abstract 비명시 — 정성·architecture 기여 중심.

💭 의의 및 한계

**의의**: Image gen agent의 black-box·prompt cycle 한계 해소 패러다임, code intermediate canvas의 controllability·interpretability 결합, 인간 artist 워크플로 모방의 직관적 paradigm. **한계**: SVG·HTML·Three.js code 생성 품질이 underlying LLM에 의존, 매우 사진적 자연 장면에서 sketch 단계 충실성 한계, 정량 비교·SOTA 위치는 abstract에서 불명확.

🚀 실용적 활용

Controllable·해석 가능 image generation.
디자인·일러스트의 staged 협업 도구.
Visual programming·creative coding 보조 에이전트.