Semantic Image Inversion and Editing using Rectified Stochastic Differential Equations

Generative models transform random noise into images; their inversion aims to transform images back to structured noise for recovery and editing. This paper addresses two key tasks: (i) inversion and (ii) editing of a real image using stochastic equivalents of rectified flow models (such as Flux). Although Diffusion Models (DMs) have recently dominated the field of generative modeling for images, their inversion presents faithfulness and editability challenges due to nonlinearities in drift and diffusion. Existing state-of-the-art DM inversion approaches rely on training of additional parameters or test-time optimization of latent variables; both are expensive in practice. Rectified Flows (RFs) offer a promising alternative to diffusion models, yet their inversion has been underexplored. We propose RF inversion using dynamic optimal control derived via a linear quadratic regulator. We prove that the resulting vector field is equivalent to a rectified stochastic differential equation. Additionally, we extend our framework to design a stochastic sampler for Flux. Our inversion method allows for state-of-the-art performance in zero-shot inversion and editing, outperforming prior works in stroke-to-image synthesis and semantic image editing, with large-scale human evaluations confirming user preference.

한 줄 요약

Flux와 같은 Rectified Flow 모델을 활용한 영상 역변환 및 편집 방법을 제안하며, 기존 확산 모델 대비 정확도와 편집성능을 향상시킨다.

핵심 기여도

Rectified Flow 모델의 역변환을 위한 LQR 기반 동적 최적 제어 알고리즘 제안.
역변환된 벡터 필드가 Rectified SDE와 동등함을 이론적으로 증명.
Flux 모델에 대한 확률적 샘플러 설계.
LSUN-bedroom 데이터셋에서 기존 확산 모델 대비 정확도 4.7%, 사실감 13.8% 개선.

핵심 아이디어

기존 확산 모델(DMs)은 역변환 과정에서 비선형 드리프트와 확산으로 인해 정확도와 편집성능이 저하된다. 이에 반해, Rectified Flows(RFs)는 ODE 기반으로 빠른 샘플링과 효율적인 학습이 가능하지만, 역변환 연구는 미비했다. 본 연구는 RF의 역변환 문제를 해결하기 위해, LQR(Linear Quadratic Regulator)을 활용한 동적 최적 제어를 도입한다. 이는 주어진 이미지에서 시작하여 역방향 ODE의 초기 조건을 생성하고, 최적 제어를 통해 정확도를 향상시킨다. 또한, 이 벡터 필드는 확률적 해석이 가능하며, Rectified SDE와 동등함을 수학적으로 증명한다. 이는 기존의 추가 학습, 잠재 변수 최적화, 프롬프트 튜닝 없이도 뛰어난 성능을 달성할 수 있음을 의미한다.

기술적 접근법

**Rectified Flows (RFs)**: ODE 기반의 생성 모델로, 드리프트 함수 $ v_t(X_t) = -u(X_t, 1-t; \varphi) $를 학습.
**LQR 기반 최적 제어**: 역방향 ODE의 초기 조건을 생성하기 위해 동적 최적 제어 문제를 해결.
**Rectified SDE**: 제안된 벡터 필드가 확률적 해석을 통해 Rectified SDE와 동등함을 증명.
**Flux 샘플러 확장**: 제안된 이론적 틀을 기반으로 확률적 샘플러 설계.
**Flow Matching Loss**: $ \mathcal{L}_{CFM} $를 사용한 학습, $ \mathcal{L}_{FM} $와 동일한 기울기를 가지며 계산 가능.

주요 결과

**LSUN-bedroom 데이터셋**: 기존 확산 모델 대비 정확도 4.7%, 사실감 13.8% 개선.
**Stroke-to-Image 합성**: 기존 최고 성능 모델 대비 89% 개선.
**사용자 선호도 평가**: 대규모 인간 평가에서 사용자 선호도 높음.
**편집 성능**: SFHQ, LSUN-Church 데이터셋에서 편집 성능 우수.

의의 및 한계

본 연구는 Rectified Flows의 역변환 문제를 체계적으로 해결함으로써, 기존 확산 모델의 한계를 극복한 이론적 기반을 제시한다. 특히, 추가 학습이나 복잡한 최적화 없이도 뛰어난 성능을 달성한 점이 학술적·실용적 가치를 높인다. 다만, 비용이 높은 확산 기반 편집 방법과의 비교가 부재하며, Flux의 다중 모달 아키텍처로 인해 일부 기존 방법이 직접 적용되지 않는다는 한계가 있다. 이는 추후 연구에서 보완할 필요가 있다.

실용적 활용

본 연구는 디지털 콘텐츠 생성, 이미지 편집, 스타일 변환 등에서 활용 가능하다. 특히, 실시간 이미지 편집이나 사용자 입력에 기반한 생성이 필요한 산업(예: 게임, 콘텐츠 제작, 디자인)에서 유용하게 사용될 수 있다.