Gaussian Shading: Provable Performance-Lossless Image Watermarking for Diffusion Models

Ethical concerns surrounding copyright protection and inappropriate content generation pose challenges for the practical implementation of diffusion models. One effective solution involves watermarking the generated images. However, existing methods often compromise the model performance or require additional training, which is undesirable for operators and users. To address this issue, we propose Gaussian Shading, a diffusion model watermarking technique that is both performance-lossless and training-free, while serving the dual purpose of copyright protection and tracing of offending content. Our watermark embedding is free of model parameter modifications and thus is plug-and-play. We map the watermark to latent representations following a standard Gaussian distribution, which is indistinguishable from latent representations obtained from the non-watermarked diffusion model. Therefore we can achieve watermark embedding with lossless performance, for which we also provide theoretical proof Furthermore, since the watermark is intricately linked with image semantics, it exhibits resilience to lossy processing and erasure attempts. The watermark can be extracted by Denoising diffusion Implicit Models (DDIM) inversion and inverse sampling. We evaluate Gaussian Shading on multiple versions of Stable Diffusion, and the results demonstrate that Gaussian Shading not only is performance-lossless but also out-performs existing methods in terms of robustness.

한 줄 요약

Gaussian Shading은 디퓨전 모델에 성능 저하 없이 훈련 없이 워터마킹을 적용하는 기법으로, 256비트 용량의 강력한 워터마킹을 달성한다.

핵심 기여도

**성능 저하 없이 워터마킹**: 모델 파라미터 수정 없이 워터마킹을 적용하여 성능 손실 없이 플러그 앤 플레이 방식으로 사용 가능.
**이론적 보장**: 워터마킹이 성능에 영향을 주지 않는다는 점을 수학적으로 증명.
**높은 강도의 워터마킹**: 256비트 용량의 워터마킹을 제공하며, 강한 노이즈 조건에서도 97% 이상의 비트 정확도를 달성.
**로버스트한 추출**: DDIM inversion과 inverse sampling을 사용하여 워터마킹 정보를 추출하며, 다양한 노이즈 공격에도 견디는 성능 보장.

핵심 아이디어

기존 워터마킹 방법은 모델 파라미터를 수정하거나 훈련 과정을 추가해야 하며, 이는 모델 성능 저하를 초래한다. 반면, Gaussian Shading은 **latent representation**에 워터마킹 정보를 삽입하는 방식으로, 이 정보는 **표준 가우시안 분포**를 따르며, 비워터마킹된 이미지의 latent와 구분되지 않는다. 이는 워터마킹이 모델의 생성 과정에 영향을 주지 않음을 의미하며, 성능 손실 없이 워터마킹을 가능하게 한다.

핵심적인 세 단계는 다음과 같다:
1. **Watermark Diffuse**: 워터마킹 정보를 latent 공간 전체에 확산시켜 이미지 의미와 밀접하게 연결.
2. **Randomization**: 워터마킹 정보를 무작위화하여 분포 일관성을 유지.
3. **Distribution-Preserving Sampling**: 워터마킹이 포함된 latent를 표준 가우시안 분포에 맞게 샘플링하여 성능 손실 방지.

기술적 접근법

**모델**: Stable Diffusion (SD)의 여러 버전에서 실험 수행.
**워터마킹 방식**: Latent representation에 워터마킹 정보를 삽입.
**추출 방법**: DDIM inversion과 inverse sampling을 사용.
**하이퍼파라미터**:
Channel diffusion factor: $ f_c = 1 $
Height-width diffusion factor: $ f_{hw} = 8 $
Embedding rate: $ l = 1 $
**워터마킹 용량**: 256비트.
**샘플링 방법**: ODE 기반의 5가지 샘플링 방법 실험 (bit accuracy 약 97%).
**추출 단계**: inversion step은 50으로 설정, 실제 추론 단계와 일치.

주요 결과

**Stable Diffusion 실험**: 강한 노이즈 조건에서도 평균 TPR (True Positive Rate) 0.99, 비트 정확도 0.97 달성.
**비교 대상**: 기존 워터마킹 방법 대비 **성능 손실 없이** 워터마킹 가능.
**로버스트성**: 9가지 노이즈 공격 중 7가지에서는 고강도 노이즈에서도 약 80%의 비트 정확도 유지.
**워터마킹 추출**: DDIM inversion을 통해 정확하게 추출 가능.

의의 및 한계

하지만, 일부 노이즈 공격 (예: Random Crop, Gaussian Noise)에 대해 성능이 급격히 저하되는 한계가 있다. 또한, 워터마킹 용량은 256비트로 제한되어 더 많은 정보를 담는 데는 한계가 있다. 향후 연구에서는 **더 효율적인 inversion 방법**과 **다양한 샘플링 기법**을 포함한 확장이 필요하다.

실용적 활용

Gaussian Shading은 **AI 이미지 생성 플랫폼**, **디퓨전 모델 기반 콘텐츠 생성 업체**, **정부 및 기업의 AI 콘텐츠 감시 시스템** 등에서 활용 가능하다. 모델 제공자는 워터마킹을 추가하거나 제거할 수 있으며, 사용자 경험에는 영향을 주지 않아 실용성이 높다. 특히, **AI 생성 콘텐츠의 진위 판별 및 추적**에 유용하게 사용될 수 있다.