What to Edit Next: Visually Aligned Image-Editing Follow-Up Suggestions in Conversational Systems

Conversational assistants increasingly recommend follow-up edits to help users continue a task. Existing systems primarily target text-only interactions, leaving image-creation conversations underexplored. In image-creation tasks, useful follow-up edit suggestions must reflect user preferences, offer diverse directions, and remain executable on the current image. We collected 100,000 real multi-turn image-creation conversation samples from Qwen App and found that 80.1% are image-dependent, underscoring the need for multimodal recommendation. We address this setting with a three-stage framework. In Stage 1, we use real online data to build a human-reviewed table of appropriate follow-up editing intents, then create SFT targets and fine-tune a multimodal policy. In Stage 2, to align rule-guided SFT suggestions with actual user choices, we use user click feedback to optimize the policy through multi-objective reinforcement learning. In Stage 3, to reduce visual inconsistencies between suggested edits and the current image, we introduce a visual verifier as additional training supervision. Extensive experiments demonstrate that our framework significantly outperforms baselines on both automatic and human evaluations. In a live user-randomized A/B test with millions of users, our final framework reduces visual inconsistency from 3.7% to 0.9%. Furthermore, it significantly improves recommendation CTR by 32.70%, image take-away rate by 16.32%, and average conversation turns per user by 39.90% (all p<0.05).

한 줄 요약

Qwen 앱에서 이미지 생성 대화에서 시각적 일관성을 유지하면서 사용자 선호를 반영한 편집 제안을 생성하기 위한 3단계 프레임워크를 제안한다.

핵심 기여도

100,000개의 실제 다중 턴 이미지 생성 대화 샘플을 수집하여 80.1%가 이미지 의존적임을 밝힘.
3단계 프레임워크를 제안: SFT, 다목적 강화학습, 시각 검증기.
A/B 테스트에서 시각 불일치율 3.7% → 0.9%, CTR 32.70% 증가, 대화 턴 수 39.90% 증가.
Source–Target 구조를 사용한 검증기로 78.7%의 재현율 달성.

핵심 아이디어

기존 대화형 시스템은 텍스트 기반 제안에 집중했으나, 이미지 생성 대화에서는 제안이 현재 이미지와 일관되어야 한다는 점에서 차이가 있다. 본 연구는 사용자 행동과 시각 정보를 모두 고려한 3단계 프레임워크를 제안한다. 첫 번째 단계는 인간 검토를 거친 편집 의도 테이블을 기반으로 SFT를 수행하여 정책을 미세 조정한다. 두 번째 단계는 사용자의 클릭 피드백을 통해 다목적 강화학습을 적용하여 정책을 최적화한다. 마지막 단계는 이미지 기반 Source–Target 구조의 검증기를 도입하여 제안의 시각적 일관성을 보장한다. 이는 기존 시스템이 시각적 실행 가능성에 대한 명시적 지도를 제공하지 못하는 문제를 해결한다.

기술적 접근법

**Stage 1**: 실제 온라인 데이터와 인간 검토 편집 의도 테이블을 결합하여 6개 제안을 포함한 SFT 타겟 생성.
**Stage 2**: 사용자 클릭 피드백을 기반으로 8B 규모의 vision-language reward model을 학습하고, GRPO를 통해 정책 최적화.
**Stage 3**: 이미지 기반 Source–Target 구조의 검증기 도입. 각 제안을 소스와 타겟 상태로 분리하여 실행 가능성 검증.
**하이퍼파라미터**: Bradley–Terry objective, position-aware preference pair, 6개의 reward dimension (포함 grounding reward).

주요 결과

**Stage 2 대비 Stage 3**: 시각 불일치율 3.7% → 0.9% 감소.
**A/B 테스트 결과**: CTR 32.70% 증가, 이미지 가져가기율 16.32% 증가, 사용자당 평균 대화 턴 수 39.90% 증가 (p < 0.05).
**Source–Target 검증기**: 재현율 78.7%, 거짓 거부율 0.6% (기존 22.2% 대비 대폭 개선).

의의 및 한계

본 연구는 이미지 생성 대화에서 사용자 선호와 시각적 실행 가능성을 동시에 고려한 첫 번째 통합 프레임워크를 제시한다. 특히, Source–Target 구조의 검증기는 기존 시스템이 해결하지 못한 시각 불일치 문제를 효과적으로 해결한다. 그러나, 사용자 클릭 데이터는 제안의 실행 가능성보다는 선호도를 반영하므로, 클릭 기반 강화학습만으로는 시각적 일관성을 완전히 보장하기 어렵다는 한계가 있다. 또한, 검증기는 학습 단계에서만 사용되며, 실제 운영 시에는 추가 지연 없이 단일 8B 정책이 사용된다.

실용적 활용

이 프레임워크는 이미지 생성 앱(Qwen App 등)에서 사용자 대화 흐름을 자연스럽게 이어가도록 돕는 데 유용하다. 특히, 디자인, 콘텐츠 제작, 게임 개발 등 시각적 편집이 필요한 산업에서 사용자 참여도와 작업 효율성을 동시에 향상시킬 수 있다.