PrivacyLens: Evaluating Privacy Norm Awareness of Language Models in Action

As language models (LMs) are widely utilized in personalized communication scenarios (e.g., sending emails, writing social media posts) and endowed with a certain level of agency, ensuring they act in accordance with the contextual privacy norms becomes increasingly critical. However, quantifying the privacy norm awareness of LMs and the emerging privacy risk in LM-mediated communication is challenging due to (1) the contextual and long-tailed nature of privacy-sensitive cases, and (2) the lack of evaluation approaches that capture realistic application scenarios. To address these challenges, we propose PrivacyLens, a novel framework designed to extend privacy-sensitive seeds into expressive vignettes and further into agent trajectories, enabling multi-level evaluation of privacy leakage in LM agents' actions. We instantiate PrivacyLens with a collection of privacy norms grounded in privacy literature and crowdsourced seeds. Using this dataset, we reveal a discrepancy between LM performance in answering probing questions and their actual behavior when executing user instructions in an agent setup. State-of-the-art LMs, like GPT-4 and Llama-3-70B, leak sensitive information in 25.68% and 38.69% of cases, even when prompted with privacy-enhancing instructions. We also demonstrate the dynamic nature of PrivacyLens by extending each seed into multiple trajectories to red-team LM privacy leakage risk. Dataset and code are available at https://github.com/SALT-NLP/PrivacyLens.

한 줄 요약

PrivacyLens는 언어 모델의 행동 기반 개인정보 유출을 다층적으로 평가하는 프레임워크로, GPT-4와 Llama-3-70B가 각각 25.68%와 38.69%의 유출률을 보인다.

핵심 기여도

PrivacyLens 프레임워크를 제안하여, 개인정보 민감도 높은 시드(seed)를 표현력 있는 비너트(vignette)와 에이전트 경로(agent trajectory)로 확장하여 다층적 평가를 가능하게 함.
493개의 시드를 기반으로 493개의 비너트와 493개의 경로를 생성하여, GPT-4와 Llama-3-70B가 각각 25.68%와 38.69%의 유출률을 보임.
ReAct 기반 에이전트와 Mistral-7B를 활용한 분류기(few-shot classifier)를 통해 유출 여부를 정량적으로 평가함.
프롬프트 엔지니어링이 유출률 개선에 효과적이지 않음을 밝힘.

핵심 아이디어

PrivacyLens는 기존의 단일 질문 기반 평가와 달리, 실제 에이전트가 도구(예: 이메일, 캘린더)와 상호작용하는 상황에서 개인정보 유출을 평가하는 프레임워크이다. 이는 Contextual Integrity 이론을 기반으로, 정보 주체, 수신자, 전달 방식을 고려한 정교한 개인정보 규범을 반영한다. 시드(seed)는 미국 개인정보 규정과 대중 참여 데이터를 기반으로 수집되며, 이를 템플릿 기반 생성 방법을 통해 비너트(vignette)로 확장한다. 이후, 에이전트가 이 비너트를 기반으로 실제 행동을 수행하는 경로(agent trajectory)를 생성하여 평가한다. 이는 단순한 질문 응답 평가와 달리, 실제 행동에서의 개인정보 유출을 측정할 수 있는 장점을 가진다.

기술적 접근법

**프레임워크 구성**: PrivacyLens는 시드(seed) → 비너트(vignette) → 에이전트 경로(agent trajectory)로 구성된 점진적 데이터 생성 프로세스를 사용함.
**평가 모델**: GPT-4, Claude-3, Llama-3-70B 등 9개의 언어 모델을 평가함.
**프롬프트**: ReAct 기반 에이전트를 구현하며, 기본 프롬프트와 개인정보 보호 프롬프트(Privacy-Enhancing Prompt)를 비교함.
**유출 평가**: Mistral-7B를 사용한 few-shot 분류기(f)로 최종 행동(aₜ)이 정보를 유출하는지 판단함.
**유출률 계산**: LR = 유출 사례 수 / 전체 사례 수, LR_h = 유출 사례 중 유용성 점수가 양성인 경우 / 전체 양성 사례 수로 정의됨.

주요 결과

GPT-4는 25.68%의 유출률을 보이며, Llama-3-70B는 38.69%의 유출률을 보임.
Mistral-7B는 94.32%의 QA 정확도를 보이지만, 에이전트 경로 평가에서는 63.29%로 급락함.
Claude-3-Sonnet은 38.83%의 유출률을 보이며, GPT-4(27.23%)보다 높은 유출률을 보임.
프롬프트 엔지니어링은 유출률 개선에 효과적이지 않음.
Llama-3-8B는 유출률이 낮지만, 유용성 점수가 낮아 trade-off 문제가 있음.

의의 및 한계

PrivacyLens는 실제 에이전트 행동에서의 개인정보 유출을 정량적으로 평가할 수 있는 첫 번째 프레임워크로, 기존의 단순 질문 기반 평가와의 차이를 명확히 보여준다. 특히, GPT-4와 같은 최신 모델이 프롬프트 엔지니어링을 적용하더라도 25% 이상의 유출률을 보이는 점은 언어 모델의 개인정보 인식 능력이 여전히 한계가 있음을 시사한다. 그러나 본 연구는 미국 내 일반적인 개인정보 규범만을 다루고 있으며, 문화적 차이에 따른 규범의 다양성은 아직 고려되지 않았다. 또한, 에이전트 경로 생성에 GPT-4를 사용한 점도 한계로 지적될 수 있다.

실용적 활용

PrivacyLens는 이메일 작성, 소셜 미디어 게시물 생성 등 개인화된 커뮤니케이션을 지원하는 언어 모델 에이전트의 개인정보 유출 위험을 평가하는 데 활용될 수 있다. 특히, 기업이 사용자 데이터를 처리하는 AI 도구를 개발할 때, PrivacyLens를 통해 실제 행동에서의 유출 가능성을 사전에 점검할 수 있다. 또한, 개인정보 보호 규정 준수를 요구하는 산업(예: 금융, 의료)에서도 모델 평가 도구로 활용 가능하다.