It Takes Two: Complementary Self-Distillation for Contextual Integrity in LLMs

Contextual Integrity (CI) defines privacy not merely as keeping information hidden, but as governing information flows according to the norms of a given context. As large language models are increasingly deployed as personal agents handling sensitive workflows, adhering to CI becomes critical. However, even frontier models remain unreliable in making disclosure decisions, and existing mitigation strategies often degrade underlying task performance. To overcome this privacy-utility trade-off, we propose SELFCI, a complementary self-distillation framework that decouples information suppression from task resolution. SELFCI jointly optimizes two independent reverse KL divergences over distinct teacher distributions derived from feedback: one encourages preserving task-relevant information for utility, while the other enforces minimal and appropriate disclosure. This complementary formulation induces a Product-of-Experts (PoE) target, aligning the policy with the intersection of capability and privacy requirements. Empirical evaluations demonstrate that SELFCI, without relying on costly external supervision, consistently outperforms competitive baselines such as online reinforcement learning algorithms (e.g., GRPO). These trends further extend to out-of-domain settings involving agentic workflows and accumulated private context, suggesting that SELFCI provides a practical path toward CI alignment.

📋 한 줄 요약

**[LLM 프라이버시 / 자기증류]** 정보 억제와 작업 해결을 분리한 두 개의 reverse KL 목표를 동시 최적화해 Contextual Integrity 정렬을 달성하는 자기증류 프레임워크 SELFCI 제안.

🎯 핵심 기여도

Contextual Integrity(CI)를 단순한 정보 은닉이 아닌 맥락 규범에 따른 정보 흐름 통제로 재정의, 프론티어 모델조차 공개 결정에서 신뢰성이 낮고 기존 완화 기법이 작업 성능을 떨어뜨린다는 문제 정의.
정보 억제와 작업 해결을 별도 분리한 보완적 자기증류 프레임워크 SELFCI 제안: 피드백에서 도출한 두 독립 교사 분포에 대한 reverse KL 두 개를 동시 최적화.
한 KL은 작업 정보 보존(유틸리티), 다른 KL은 최소·적절 공개(프라이버시)를 강제 → Product-of-Experts(PoE) 타겟 유도.
외부 감독 없이도 GRPO 등 온라인 RL 베이스라인을 일관되게 능가, 에이전트 워크플로우·축적된 사적 컨텍스트의 out-of-domain에서도 우위 입증.

💡 핵심 아이디어

프라이버시-유틸리티 트레이드오프는 단일 목적함수로 학습할 때 본질적으로 충돌하므로, 두 목표를 별도 교사로 분리해 PoE 형태로 결합하면 두 요구를 동시에 만족하는 정책을 얻을 수 있다.

🔬 기술적 접근법

**모델/방법론**: 보완적 자기증류 SELFCI, 피드백에서 도출한 두 교사 분포에 대한 reverse KL 결합 학습.
**핵심 기법**: 작업 유틸리티 KL × 프라이버시 KL의 PoE 정렬, 비용이 큰 외부 감독 없이 자기증류로 수행, OOD 에이전트·사적 컨텍스트로의 일반화 검증.

📊 주요 결과

경쟁 베이스라인 대비 일관된 우위.
GRPO 등 온라인 RL 기반보다 강력.
에이전트 워크플로우·축적된 사적 컨텍스트 OOD 셋팅에서도 향상.

💭 의의 및 한계

**의의**: LLM 에이전트가 sensitive workflow를 다룰 때 필요한 CI 정렬을 실질적으로 가능케 하는 자기증류 레시피 제시. **한계**: 두 교사 분포의 정의 품질이 성능을 좌우, 매우 모호한 맥락 규범이 존재하는 도메인에서의 검증은 후속 과제.

🚀 실용적 활용

개인 비서·의료·금융 에이전트의 프라이버시-유틸리티 정렬.
조직 내 민감 정보 처리 LLM의 안전성 강화.
외부 supervision이 비싼 환경에서의 self-improvement 파이프라인.