FedOT: Ownership Verification and Leakage Tracing via Watermarks for Federated LDMs

Training Latent Diffusion Models (LDMs) within Federated Learning (FL) has attracted increasing attention due to its ability to combine the powerful generative capacity of LDMs with the privacy-preserving properties of FL. However, FL requires sharing the global model with multiple participants, which risks unauthorized model distribution or resale by malicious clients. While an intuitive approach is to adopt existing VAE-based watermarking techniques for LDMs in FL, this strategy falls short in addressing such threats due to two fundamental challenges: (1) Existing methods support ownership verification but lack the ability to trace model leakage to a specific malicious client; (2) VAE-based watermarks are vulnerable, as they can be removed simply by replacing the decoder with a clean counterpart. In this paper, we propose FedOT, the first framework for ownership verification and leakage tracing in federated LDMs. Specifically, to address the first challenge, we design a chunked watermark, where the first part is for ownership verification, and the second part is used for client identification. Furthermore, to overcome the second challenge and secure the model against VAE replacement attack, we introduce Latent Vector Transformation (LVT), which strengthens the connection between the VAE and U-Net latent spaces by modifying the original latent distribution of the VAE. Consequently, any attempt to replace the VAE for watermark removal leads to significant image quality degradation, making the LDM model unusable. Extensive experiments demonstrate that FedOT achieves superior performance in both ownership verification and traceability. Project page: https://spyzixuan.github.io/FedOT/.

한 줄 요약

FedOT는 연방 학습 환경에서 LDM 모델의 소유권 검증과 유출 추적을 위한 첫 번째 워터마크 기반 프레임워크이다.

핵심 기여도

첫 번째로 **소유권 검증과 유출 추적**을 동시에 지원하는 **FedOT** 프레임워크를 제안.
**Chunked Watermark**를 도입하여, 첫 번째 부분은 소유권 검증, 두 번째 부분은 클라이언트 추적에 사용.
**Latent Vector Transformation (LVT)**을 통해 VAE와 U-Net 간의 강력한 결합을 유도, VAE 교체 공격에 대한 내성을 확보.
**3가지 LVT 전략**(translation, mirror, negative)을 제안하며, 실험적으로 **negative 전략이 가장 효과적**임을 보여줌.

핵심 아이디어

기존 VAE 기반 워터마크는 **소유권 검증은 가능하지만 유출 클라이언트를 추적할 수 없으며**, VAE 교체 공격에 취약하다는 한계가 있다. FedOT는 이 두 문제를 해결하기 위해 **Chunked Watermark**와 **Latent Vector Transformation (LVT)**을 결합한 새로운 접근법을 제안한다.

**Chunked Watermark**는 전체 48비트로 구성되며, 앞 r 비트는 소유권 검증, 나머지 n−r 비트는 클라이언트 식별에 사용된다.
**LVT**는 VAE의 잠재 공간 분포를 수정하여 U-Net과의 강한 결합을 유도함으로써, VAE 교체 시 이미지 품질이 심각하게 저하되도록 설계된다.
이는 워터마크 제거 시 모델의 유용성이 크게 감소하므로, 공격자의 동기를 약화시킨다.

기술적 접근법

**Chunked Watermark**: 48비트 길이로 구성되며, r=16일 때 소유권 검증과 클라이언트 추적의 성능이 가장 균형 있게 나타남.
**Latent Vector Transformation (LVT)**: VAE의 잠재 분포를 수정하여 U-Net과의 결합 강도를 높임.
3가지 전략: translation, mirror, negative.
**Negative 전략**이 성능과 결합 강도 측면에서 가장 우수함.
**Weighting Coefficient (λ)**: λ가 클수록 재구성 품질은 향상되지만 워터마크 정확도는 감소.
**Translation Coefficient (c)**: c가 클수록 공격 저항력은 증가하지만, 이미지 품질이 저하됨. c=11일 때 공격에 대한 저항력이 가장 높음.

주요 결과

**Detection Accuracy**: r=16일 때, Detection: 0.944, Bit Accuracy: 0.928.
**LVT 성능**: Negative 전략이 가장 높은 성능을 보이며, VAE 교체 시 이미지 품질이 심각하게 저하됨.
**공격 저항성**: VAE 교체 공격, 모델 정화 공격, 이미지 공격 등 다양한 공격 시나리오에서 FedOT는 **신뢰성 있는 소유권 검증과 유출 추적**을 보장함.

의의 및 한계

FedOT는 **연방 학습 환경에서 생성 모델의 소유권 보호와 유출 추적**이라는 중요한 문제를 해결하며, 기존 VAE 기반 워터마크의 취약점을 극복한 점에서 학술적·실용적 의의가 있다. 특히, **LVT를 통해 VAE 교체 공격에 대한 내성을 강화**함으로써, 모델의 실질적인 보호를 가능하게 한다.

하지만, **워터마크 강도와 이미지 품질 간의 트레이드오프**가 존재하며, **c 값이나 λ 값 조정**이 필요하다는 점은 한계로 작용할 수 있다. 또한, **추가적인 공격 벡터나 복잡한 공격 시나리오**에 대한 평가가 필요하다.