Flowedit: Inversion-Free Text-Based Editing Using Pre-Trained Flow Models

Editing real images using a pre-trained text-to-image (T2I) diffusion/flow model often involves inverting the image into its corresponding noise map. However, inversion by itself is typically insufficient for obtaining satisfactory results, and therefore many methods additionally intervene in the sampling process. Such methods achieve improved results but are not seamlessly transferable between model architectures. Here, we introduce FlowEdit, a text-based editing method for pre-trained T2I flow models, which is inversionfree, optimization-free and model agnostic. Our method constructs an ODE that directly maps between the source and target distributions (corresponding to the source and target text prompts) and achieves a lower transport cost than the inversion approach. This leads to state-of-the-art results, as we illustrate with Stable Diffusion 3 and FLUX. Code and examples are available on the project's webpage.

한 줄 요약

FlowEdit는 기존 이미지 편집에서 사용되는 inversion 과정 없이, 텍스트 기반으로 편집 가능한 모델 구조를 제안한다.

핵심 기여도

기존 inversion 기반 편집 방법을 우회하는 ODE 기반 편집 경로를 제안.
inversion 과 비교해 더 낮은 transport cost를 달성.
Stable Diffusion 3와 FLUX 모델에서 state-of-the-art 성능을 보임.
최적화 없이, 모델 구조와 무관하게 적용 가능.

핵심 아이디어

FlowEdit은 기존 편집 방식에서 흔히 사용되는 inversion 과정을 우회하고, source와 target 텍스트 프롬프트에 해당하는 분포 간에 직접적인 ODE(Ordinary Differential Equation) 경로를 구성한다. 이는 기존 inversion 기반 편집이 noise map으로 변환한 후 다시 편집 이미지를 생성하는 과정에서 발생하는 정보 손실과 구조 파괴를 줄일 수 있다. 기존 inversion 기반 편집이 source 이미지를 noise로 변환한 후 편집 조건을 적용하는 반면, FlowEdit은 source와 target 분포 간의 경로를 직접 연결함으로써 편집 과정을 단순화하고 구조 보존을 향상시킨다. 이는 편집 과정에서 transport cost가 낮아지는 것으로 입증된다.

기술적 접근법

**FlowEdit**는 source와 target 텍스트 프롬프트에 해당하는 분포 간의 직접적인 경로를 ODE로 구성.
기존 inversion 과 달리, noise map으로 변환하지 않고 source 분포에서 target 분포로의 경로를 정의.
모델 구조와 무관하게 적용 가능하며, 최적화 과정 없이 편집 가능.
**Stable Diffusion 3**와 **FLUX** 모델에서 평가를 수행.
편집 과정에서 **random noise**를 추가하여 다양한 결과 생성 가능.

주요 결과

**FLUX**와 **Stable Diffusion 3** 모델에서 FlowEdit이 기존 flow-based 편집 방법 대비 state-of-the-art 성능을 달성.
**transport cost**가 inversion 기반 편집 방법보다 낮아 구조 보존성이 향상됨.
편집 과정에서 **random seed**에 따라 결과 다양성 발생, 일부 경우 **artifacts** 발생 가능성 있음.

의의 및 한계

FlowEdit은 inversion 과 최적화 과정 없이 편집이 가능하다는 점에서 기존 편집 방법과 차별화되며, 모델 구조와 무관하게 적용 가능하다는 장점이 있다. 이는 다양한 편집 작업에서 구조 보존성을 향상시키며, 다양한 모델에서 즉시 활용 가능하다는 실용적 가치를 제공한다. 그러나 편집 과정에서 random noise를 사용하기 때문에, 결과의 일관성은 보장되지 않으며, 일부 경우 artifact가 발생할 수 있다는 한계가 있다. 또한, 구체적인 성능 향상 폭이나 정량적 수치는 명시되지 않아 추가 평가가 필요할 수 있다.

실용적 활용

FlowEdit는 이미지 생성 모델을 기반으로 한 디자인, 콘텐츠 제작, 게임 개발 등에서 텍스트 기반으로 이미지를 편집할 수 있는 유용한 도구로 활용될 수 있다. 특히, 다양한 모델 아키텍처에서 즉시 적용 가능하다는 점에서 연구 및 산업 현장에서 즉각적인 활용이 가능하다.