한 줄 요약
VESFlow는 흐름 매칭 기반 생성 모델에서 안전성을 확보하기 위해 속도장 편집을 활용한 훈련 없는 안전성 향상 방법이다.
핵심 기여도
- VESFlow는 훈련 없이 흐름 매칭 기반 생성 모델의 속도장(v)를 직접 편집하여 안전 조건부 사후 확률(s=1)을 반영한다.
- Risk score 기반 필터링을 도입하여 무해한 프롬프트는 속도장 편집을 생략해 계산 비용을 줄인다.
- VESFlow+는 VESFlow를 강화한 버전으로, 안전한 방향으로 끌어당기고 위험한 방향으로 밀어내는 이중 가이드라인을 적용한다.
- 4-step MeanFlow 모델에서 NudeNet 공격 성공률을 Ring-A-Bell에서 6.3%, MMA-Diffusion에서 6.8%로 감소시킨다.
핵심 아이디어
기존 안전성 방법은 대부분 반복적 트레젝토리 조정이나 CLIP 기반 프롬프트 임베딩 조작에 의존한다. 그러나 흐름 매칭 기반 생성 모델은 샘플링 단계가 극히 적어 반복적 수정이 어렵고, 현대적인 컨텍스트 인식 텍스트 인코더는 임베딩 수준 조작의 효과를 줄인다. 이에 따라, VESFlow는 흐름 매칭 모델이 학습하는 주변 속도(marginal velocity)를 직접 편집하여 안전한 결과를 유도한다. 이는 조건 프롬프트를 변경하지 않으면서도, 최종 생성물이 안전한 영역(S)에 속하도록 트레젝토리를 안내한다.
VESFlow+는 위험 점수(risk score)를 기반으로 위험한 프롬프트를 식별한 후, 안전한 방향으로 끌어당기고 위험한 방향으로 밀어내는 이중 가이드라인을 적용하여 안전성을 강화한다. 이는 기존의 단일 방향 조정보다 효과적이다.
기술적 접근법
- **VESFlow**: 훈련 없이 기존 속도장 $ v(\mathbf{x}_t | c) $를 조건 $ s=1 $ (안전한 최종 샘플)을 반영한 $ \tilde{v}(\mathbf{x}_t | c) = v(\mathbf{x}_t | c, s=1) $로 편집한다.
- **Risk score filtering**: 무해한 프롬프트는 속도장 편집을 생략해 계산 비용을 절감한다.
- **VESFlow+**: 위험 점수가 높은 프롬프트에 대해, 안전한 방향으로 끌어당기고 위험한 방향으로 밀어내는 이중 가이드라인을 적용한다.
- **모델**: 4-step MeanFlow 모델에서 실험하며, NudeNet과 Q16을 사용해 안전성 평가 지표(ASR, TR)를 측정한다.
주요 결과
- **VESFlow**: 4-step MeanFlow 모델에서 NudeNet 공격 성공률을 Ring-A-Bell에서 15.2% → 6.3%, MMA-Diffusion에서 7.5% → 6.8%로 감소시킴.
- **VESFlow+**: VESFlow 대비 추가 감소 없이, 위험한 프롬프트에 대해 이중 가이드라인을 적용해 안전성 향상.
- **무해한 프롬프트 유지**: MS-COCO 데이터셋에서 FID와 CLIP 점수는 유지되며, risk score filtering이 계산 비용을 줄이면서도 생성 품질을 보존함.
의의 및 한계
VESFlow는 흐름 매칭 기반 생성 모델에서 반복적 트레젝토리 조정이나 임베딩 조작에 의존하지 않고, 속도장 수준에서 직접 안전성을 향상시킬 수 있는 새로운 접근법을 제시한다. 특히, 훈련 없이 즉시 적용 가능한 점에서 실용적 가치가 크다.
그러나 VESFlow는 위험 점수 계산에 의존하며, 이는 사용하는 점수 모델의 정확성에 따라 성능이 달라질 수 있다. 또한, 위험한 프롬프트를 식별하지 못하는 경우, 안전성 향상 효과가 제한될 수 있다. VESFlow+는 이 문제를 완화하지만, 여전히 위험 식별에 의존한다는 한계가 존재한다.
실용적 활용
VESFlow는 텍스트-이미지 생성 모델이 포함된 콘텐츠 생성 플랫폼, SNS, 디지털 마케팅 등에서 실시간 안전성 확보에 활용 가능하다. 특히, 흐름 매칭 기반 생성 모델이 사용되는 Stable Diffusion v3, FLUX, MeanFlow 등에 적용 가능하며, 계산 효율성과 생성 품질을 유지하면서도 안전성을 강화할 수 있다.