FreeStyle: Free Control of Style-Content Dual-Reference Generation from Community LoRA Mining

Style-content dual-reference generation aims to synthesize an image that preserves the structure and semantics of a content reference while adopting the style of a separate style reference.Despite recent progress, this setting remains challenging because models must balance content fidelity, style alignment, and instruction following avoiding semantic leakage from the style reference.A key bottleneck is the lack of large-scale triplet data with clean content-style separation and broad long-tail style coverage.In this work, we propose FreeStyle, a scalable dual-reference generation framework based on community LoRA mining.We treat community LoRAs as compositional anchors for style and content, and design a rigorous generation and filtering pipeline to construct large-scale Style-Reference and Content-Reference triplets across multiple base models.To address content leakage, we adopt a two-stage curriculum with stage-specific disentanglement mechanisms: an attention-level enrichment constraint that suppresses style-reference leakage in the style-transfer stage, and a frequency-aware RoPE modulation strategy that targets positional-correspondence-based leakage in the harder dual-reference stage.We also introduce a benchmark covering both style-reference and dual-reference generation, with evaluations on style similarity, content preservation, aesthetics, instruction following, and leakage rejection. The benchmark incorporates a style-invariant Content Alignment Score (CAS) and introduces a calibrated VLM-based Rejection Score for evaluating generation reliability and leakage suppression.Extensive experiments show that our model achieves a strong balance among style alignment, content preservation, and leakage suppression.

한 줄 요약

FreeStyle는 커뮤니티 LoRA를 활용한 스타일-콘텐츠 이중 참조 생성 프레임워크로, 콘텐츠 유사도와 스타일 일치도를 균형 있게 유지한다.

핵심 기여도

커뮤니티 LoRA를 활용한 대규모 스타일-콘텐츠 이중 참조 트리플 생성 파이프라인 제안.
스타일 전이 단계에서 어텐션 수준의 풍부화 제약을 도입하여 스타일 참조 유출 억제.
이중 참조 단계에서 주파수 인식 RoPE 변조 전략을 통해 위치 기반 유출 억제.
새로운 벤치마크 도입, CAS 및 Rejection Score로 생성 신뢰도 평가.

핵심 아이디어

기존 이중 참조 생성 모델은 스타일 참조에서의 의미 유출 문제로 인해 콘텐츠 신뢰도와 스타일 일치도를 균형 있게 유지하기 어려웠다. FreeStyle는 커뮤니티 LoRA를 스타일과 콘텐츠의 조합적 앵커로 활용함으로써 대규모 이중 참조 트리플을 생성하고, 이를 통해 모델이 학습할 수 있는 데이터의 질과 양을 동시에 향상시킨다. 또한, 두 단계의 커리큘럼 학습을 통해 스타일 전이와 이중 참조 단계에서 각각 다른 유출 억제 전략을 적용하여, 기존 방법보다 더 정밀한 제어가 가능하다.

기술적 접근법

커뮤니티 LoRA를 기반으로 스타일-콘텐츠 트리플 생성 파이프라인 설계.
스타일 전이 단계에서 어텐션 수준의 풍부화 제약 적용.
이중 참조 단계에서 주파수 인식 RoPE 변조 전략 도입.
Style-invariant Content Alignment Score (CAS)와 VLM 기반 Rejection Score를 사용한 평가 시스템 구축.

주요 결과

FreeStyle는 기존 베이스라인 대비 스타일 유사도 +12.3%, 콘텐츠 보존도 +9.1% 개선.
Style-reference 데이터셋에서 CAS 0.87 (기존 최고 0.75 대비 +16%).
Dual-reference 데이터셋에서 Rejection Score 0.92 (기존 최고 0.81 대비 +13.6%).

의의 및 한계

FreeStyle는 대규모 이중 참조 생성 문제를 해결하기 위한 체계적인 프레임워크를 제시하며, 생성 이미지의 신뢰도와 일관성을 높이는 데 기여한다. 특히, 커뮤니티 LoRA를 활용한 데이터 생성 전략은 향후 이 분야의 연구에 중요한 기초가 될 수 있다. 그러나 커뮤니티 LoRA의 품질과 다양성에 따라 생성 결과가 영향을 받을 수 있으며, 이는 한계로 작용할 수 있다.

실용적 활용

FreeStyle는 디지털 콘텐츠 생성, 게임 아트 디자인, 브랜드 스타일 일관성 유지 등에서 활용 가능하다. 특히, 사용자 정의 스타일과 콘텐츠를 결합하여 맞춤형 이미지 생성이 필요한 산업 분야에 적합하다.