SkillMarker: A KGW-Based Watermarking Method for Agent Skill Ownership Verification

Agent skills encode operational procedures and domain expertise as reusable knowledge assets, yet their distribution in plaintext exposes them to unauthorized copying and leakage. However, practical mechanisms for skill ownership verification and leakage tracing remain underdeveloped. Watermark embedding before distribution offers a potential solution, but structured, compact skill instructions impose stringent requirements for factual and procedural accuracy. To address these challenges, we introduce SkillMarker, a KGW-based watermarking method that jointly targets functionality preservation and strong watermark embedding. SkillMarker unifies quality-constrained rewriting with signal-oriented candidate search. The former separates essential knowledge from flexible expression to preserve instruction fidelity; the latter explores alternative expressions to obtain a stronger watermark signal under preservation constraints. We release an open-source toolkit that integrates watermark embedding, quality auditing, and detection to support the protection of agent skills. SkillMarker targets ownership verification and leakage tracing in distributed skill ecosystems, where content may be copied in whole or in part, or incorporated into other skills.

한 줄 요약

SkillMarker는 KGW 기반의 워터마킹 기법으로, 에이전트 스킬의 소유권 검증과 유출 추적을 지원한다.

핵심 기여도

KGW 기반의 **quality-constrained rewriting**과 **signal-oriented candidate search**를 결합한 워터마킹 방법 제안.
4개 데이터셋에서 **-2.01% ~ +0.93%** 범위의 성능 저하만 발생.
**1,536개 토큰** 길이의 복사본도 탐지 가능.
1~3개의 배경 스킬과 병합 후에도 **72.2–77.8%**의 탐지률 유지.

핵심 아이디어

SkillMarker는 에이전트 스킬의 정확성과 기능성을 유지하면서 강력한 워터마크를 삽입하는 문제를 해결하기 위해 두 가지 핵심 전략을 결합한다. 첫째, **quality-constrained rewriting**은 필수적인 정보는 보호하고, 수정 가능한 영역만 제한적으로 변경함으로써 스킬의 정확도를 보장한다. 둘째, **signal-oriented candidate search**는 여러 대안 표현 중에서 워터마크 신호가 강한 후보를 선택하여, 제한된 수정 범위 내에서도 강력한 워터마크를 삽입한다. 이는 KGW(Knowledge-Guided Watermarking) 기법을 기반으로 하며, 정확성과 신호 강도 간의 균형을 유지하는 데 중점을 둔다.

기술적 접근법

**quality-constrained rewriting**: 필수 정보는 보호하고, 수정 가능한 영역만 제한적으로 변경.
**signal-oriented candidate search**: beam search, signal-oriented selection, reconstructed-text scoring을 활용해 강력한 워터마크 신호를 가진 후보를 선택.
**KGW z-score (Eq. 4)**: 워터마크 강도를 측정하는 지표로, SkillMarker는 평균 z = 3.01 달성.
**하이퍼파라미터**: fidelity constraints, logit bias, beam search width 등이 실험적으로 조정됨.

주요 결과

4개 데이터셋에서 **-2.01% ~ +0.93%** 범위의 성능 저하 발생.
**1,536개 토큰** 길이의 복사본도 window-based detection으로 탐지 가능.
1~3개의 배경 스킬과 병합 후에도 **72.2–77.8%**의 탐지률 유지.
**z-score 3.01** 달성, fidelity constraints 제거 시 z-score 3.37로 상승하지만 quality 67.09로 하락.

의의 및 한계

SkillMarker는 에이전트 스킬의 소유권 검증과 유출 추적을 위한 실용적인 워터마킹 기법으로, 정확성과 신호 강도를 동시에 유지하는 데 성공했다. 특히, 복사 및 병합 시에도 탐지력을 유지하며, 다양한 산업적 응용이 가능하다. 그러나, **분할된 내용**이나 **배경 스킬이 많아질 경우** 탐지력이 약화되며, **가짜 양성 증가**로 인해 **캘리브레이션 필요**하다는 한계가 있다. 또한, **토큰 오버헤드**가 데이터셋에 따라 다르게 발생한다.