CanvasAgent: Enabling Complex Image Creation and Editing via Visual Tool Orchestration

Complex image creation and editing often require more than a single generation or editing model. A user request may involve synthesizing images, localizing objects, segmenting regions, editing selected content, compositing intermediate assets, reading text, and enhancing the final result. Such tasks shift multimodal agents from perception-augmented reasoning to manipulation-centered visual creation, where tools must actively transform visual states rather than merely inspect them. However, existing multimodal tool-use agents are mostly optimized for perception, search, or domain-specific editing, and lack large-scale supervision for executable image-creation trajectories. In this paper, we introduce CanvasCraft, a large-scale multimodal tool-use dataset for complex image creation and editing, and \textbf{CanvasAgent}, a tool-augmented multimodal agent that learns to orchestrate heterogeneous visual tools through multi-turn interaction. CanvasCraft contains 140K fully annotated executable trajectories and 10K RL task specifications. CanvasAgent is first trained with SFT to learn executable reasoning-action trajectories, and is then optimized with GRPO using a hybrid reward that combines outcome- and process-level signals. During rollout, CanvasAgent inspects intermediate results, tracks visual assets, and adapts tool decisions to the evolving visual state. Experiments evaluate both final image quality and trajectory behavior, demonstrating the effectiveness of CanvasAgent and the proposed dataset for complex multi-tool image creation workflows.

한 줄 요약

CanvasAgent는 복잡한 이미지 생성 및 편집 작업을 위해 11개의 이질적 시각 도구를 다중 턴 인터랙션으로 조율하는 툴-증강형 멀티모달 에이전트이다.

핵심 기여도

**CanvasCraft**: 복잡한 이미지 생성 및 편집을 위한 140K개의 완전히 주석이 달린 실행 가능한 트레젝토리와 10K개의 RL 작업 명세를 포함한 대규모 멀티모달 툴 사용 데이터셋.
**CanvasAgent**: SFT와 GRPO를 결합한 2단계 학습 프레임워크를 통해 툴 사용 정책을 최적화한 툴-증강형 멀티모달 에이전트.
**Hybrid Reward**: 최종 이미지 품질과 실행 가능한 툴 사용 과정을 동시에 최적화하기 위한 작업 특화 혼합 보상 설계.
**실험 결과**: SFT+GRPO 조합이 전체 보상 0.821, 정렬 0.869, 미학 0.762, 트레젝토리 점수 0.849를 달성.

핵심 아이디어

기존 멀티모달 에이전트는 주로 인식, 검색, 또는 특정 도메인 편집에 최적화되어 있으며, 복잡한 이미지 생성 트레젝토리에 대한 대규모 지도가 부족하다. CanvasAgent는 이러한 문제를 해결하기 위해, 사용자의 요청을 단일 이미지 생성이 아닌, 생성, 편집, 추출, 합성, 변형, 향상 등 여러 단계로 분해하여 실행 가능한 툴 트레젝토리로 변환한다. 핵심 아이디어는 **이질적인 시각 도구(11개)**를 다중 턴 인터랙션으로 조율하는 데 있다. 이는 단순히 툴을 호출하는 것이 아니라, 중간 결과를 검토하고, 시각 자산을 추적하며, 시각 상태의 변화에 따라 툴 결정을 적응시키는 **비주얼-퍼스트 프로토콜**을 기반으로 한다.

기술적 접근법

**CanvasCraft 데이터셋**:
CanvasCraft-SFT: 사용자 지시, 입력 이미지, 단계별 추론, 툴 호출, 파라미터, 출력, 중간 시각 자산, 최종 이미지로 구성된 완전히 주석이 달린 다단계 실행 트레젝토리.
CanvasCraft-RL: 예상 툴 세트와 함께 제공되는 작업 명세로, 강화 학습을 통해 툴 순서, 파라미터, 복구, 중단 전략을 탐색 가능.
**CanvasAgent 학습 프레임워크**:
**SFT (Supervised Fine-Tuning)**: CanvasCraft-SFT를 기반으로 툴 호출과 툴 간 의존성을 학습.
**GRPO (Guided Reinforcement Policy Optimization)**: CanvasCraft-RL을 기반으로 하이브리드 보상(최종 출력 정렬, 시각 품질, 추론 유효성, 실행 가능성, 효율성 패널티)을 사용하여 정책 최적화.
**도구 세트**: 생성, 편집, 로컬라이징, 세그멘테이션, 추출, 합성, 기하 변환, OCR, 초해상도 등 11개의 전용 시각 도구.

주요 결과

**CanvasCraft-RL 평가 집합**: 250개 샘플에서 SFT+GRPO 조합이 전체 보상 0.821, 정렬 0.869, 미학 0.762, 트레젝토리 점수 0.849를 달성.
**SFT 단독 학습**: 전체 보상 0.557, 트레젝토리 점수 0.576.
**RL 단독 학습**: 전체 보상 0.604, 정렬 0.472, 미학 0.666.
**보상 설계 실험**: 최종 결과와 과정 신호를 결합한 **Hybrid Reward**가 가장 균형 잡힌 성능을 보임 (전체 보상 0.821).

의의 및 한계

CanvasAgent는 단일 툴 사용이 아닌, 복잡한 이미지 생성 및 편집 작업을 다중 턴으로 분해하고 실행 가능한 트레젝토리를 생성하는 데 기여한다. 특히, **11개의 이질적 시각 도구**를 조율하는 능력과 **Hybrid Reward**를 통한 최적화는 기존 연구에서 다루지 못한 문제를 해결한다. 그러나 현재는 고정된 툴 세트만 사용하며, 외부 MLLM 판별기와 실제 툴 실행이 필요하다는 한계가 있다. 또한, 동적 툴 발견, 자기 평가 보상, 사용자 피드백 등을 포함한 확장 연구가 필요하다.

실용적 활용

CanvasAgent는 디자인, 광고, 콘텐츠 제작, 게임 개발 등 복잡한 이미지 생성 및 편집이 필요한 산업에서 활용 가능하다. 특히, 사용자의 요청을 자동으로 실행 가능한 툴 트레젝토리로 변환하는 기능은 비전문가 사용자도 고도의 이미지 작업을 수행할 수 있도록 지원한다.