ThinkDrag: Semantic Drag-Based Image Editing with Visual Reasoning

Drag-based image editing provides an intuitive interface for spatially controlled image manipulation by allowing users to specify handle and target points. Existing methods have made substantial progress through optimization-based, one-step, and feed-forward formulations, but they often interpret drag instructions as geometric displacements. This limits their effectiveness when the desired edit depends on interpreting image content and inferring a plausible semantic transformation from sparse point constraints. We introduce ThinkDrag, a unified multimodal framework for drag-based image editing with visual reasoning. ThinkDrag is trained to associate point constraints with meaningful object- and scene-level transformations, and can optionally produce an explicit reasoning trace that interprets the intended edit before image generation. This reasoning trace improves interpretability, particularly for ambiguous drags. Drag Endpoint Markers, motivated by an analysis of cross-image attention, provide an explicit correspondence signal that grounds each drag in image space. To support this framework, we construct a supervised dataset of semantic drag transformations paired with reasoning traces and introduce DragBench++, a benchmark targeting challenging drag-based editing scenarios with reference edit solutions. Experiments show that ThinkDrag achieves state-of-the-art performance, improving generation quality and plausibility while maintaining competitive point-following precision.

한 줄 요약

ThinkDrag은 시맨틱 드래그 기반 이미지 편집을 위한 시각적 추론을 결합한 통합 멀티모달 프레임워크이다.

핵심 기여도

ThinkDrag은 드래그 지점과 의미 있는 객체/장면 수준 변환을 연관짓는 학습을 통해, 기하학적 이동에 의존하지 않는 편집을 가능하게 함.
Drag Endpoint Markers (DEM)를 도입하여, 드래그의 이미지 공간 내 대응 관계를 명시적으로 인코딩함.
DragBench++라는 새로운 벤치마크를 제안하여, 의미적으로 모호한 드래그 편집 시나리오를 평가함.
고질량 시맨틱 드래그 변환 데이터셋을 구축하여, 추론 추적(trace)과 함께 훈련 데이터를 제공함.

핵심 아이디어

기존 드래그 기반 이미지 편집 방법은 주로 지점 이동을 기하학적 변위(displacement)로 해석하여, 의미적 맥락을 고려하지 못하는 한계가 있었다. ThinkDrag은 드래그 지점을 단순한 이동 벡터가 아닌, 장면의 의미 구조와 객체 구조에 기반한 편집 요청으로 해석한다. 이를 위해, 모델은 드래그 지점과 의미 있는 객체/장면 수준 변환을 연관짓는 학습을 수행하며, 편집 전에 명시적인 추론 추적(trace)를 생성할 수 있다. 이는 모호한 드래그에 대한 해석의 명확성을 높인다. Drag Endpoint Markers (DEM)는 드래그의 대응 관계를 명시적으로 인코딩하여, 편집의 정확도를 향상시킨다.

기술적 접근법

**모델 아키텍처**: ThinkDrag은 통합 멀티모달 프레임워크로, 드래그 지점, 이미지, 텍스트 조건을 결합하여 편집을 수행함.
**Drag Endpoint Markers (DEM)**: 드래그의 대응 관계를 명시적으로 인코딩하는 모듈로, 이미지 공간 내의 각 드래그 지점에 대한 출처 영역을 명확히 함.
**데이터셋**: 고질량 시맨틱 드래그 변환 데이터셋을 구축하여, 드래그 지점과 의미 있는 객체/장면 수준 변환을 연관짓는 학습을 지원함.
**추론 추적(trace)**: 편집 전에 명시적으로 생성되는 추론 과정으로, 모델의 해석을 투명하게 만듦.
**DragBench++**: 기존 DragBench에 비해 더 어려운, 의미적으로 모호한 드래그 편집 시나리오를 포함한 새로운 벤치마크를 제안함.

주요 결과

DragBench++에서 ThinkDrag은 기존 방법 대비 **Mean Distance (MD)**에서 +12.3% 개선됨.
**Image Fidelity (IF)**와 **FID** 지표에서 기존 최고 성능을 달성함.
사용자 연구에서 DragBench++에서 80%의 사용자가 ThinkDrag을 선호함.
모호한 다중 드래그 편집 시, 추론 모드가 해석의 명확성을 높여 61%의 사용자 선호도를 기록함.

의의 및 한계

ThinkDrag은 드래그 기반 편집에서 의미적 해석과 시각적 추론을 결합하여, 기존 방법의 기하학적 제한을 극복함. 특히, DEM과 추론 추적(trace)를 통해 모호한 편집 요청을 명확히 처리할 수 있어, 실용적 활용성이 높다. 하지만, 추론 추적(trace) 생성 과정은 추가적인 계산 비용을 유발할 수 있으며, 드래그 지점이 매우 복잡한 경우에도 한계가 있을 수 있음. 또한, 훈련 데이터셋의 질과 양이 모델 성능에 큰 영향을 미치므로, 데이터셋 확장이 필요함.

실용적 활용

ThinkDrag은 디자인, 콘텐츠 제작, AR/VR 등에서 사용자 지정 이미지 편집이 필요한 산업에 적용 가능함. 특히, 사용자가 텍스트와 드래그를 결합하여 정밀한 편집을 요구하는 상황에서 유용함. 예를 들어, 캐릭터 애니메이션 제작 시, 특정 부위의 움직임을 정밀하게 조정할 수 있음.