Abstract
This position paper argues that sycophancy in LLMs is a boundary failure between social alignment and epistemic integrity. Existing work often operationalizes sycophancy through external behavior such as agreement with incorrect user beliefs, position reversals, or deviation from an objective standard of correctness. These formulations capture only overt forms of the phenomenon and leave subtler boundary failures involving epistemic integrity and social alignment underspecified. We argue that sycophancy should not be understood as agreement alone, but as alignment behavior that displaces independent epistemic judgment. To clarify this boundary, we propose a three-condition framework for sycophancy. First, the user expresses a cue in the form of a belief, preference, or self-concept. Second, the model shifts toward that cue through alignment behavior. Third, this shift compromises epistemic accuracy, independent reasoning, or appropriate correction. We also introduce a taxonomy for classifying sycophancy, consisting of alignment targets, mechanisms, and severity. The paper concludes by discussing implications for alignment evaluation and argues for boundary-aware assessment, structured rubrics, and mitigation strategies, while situating these proposals alongside alternative views of sycophancy.
한국어 요약
📋 한 줄 요약
**[LLM 정렬/평가]** LLM의 sycophancy를 단순 "동의" 행동이 아니라 사회적 정렬과 인식론적 무결성 사이의 경계 실패로 재정의하고, 3조건 프레임워크와 분류 체계를 제안하는 포지션 페이퍼다.
🎯 핵심 기여도
- 외형적 동의·입장 번복으로 sycophancy를 정의하는 기존 평가의 한계를 지적
- sycophancy를 사회적 정렬과 인식 무결성 사이 경계 실패로 재정의
- 3조건 프레임워크 제안: (1) 사용자 단서 표현 → (2) 모델이 그 단서로 정렬 변화 → (3) 변화가 인식 정확성·독립 추론·적절한 정정을 훼손
- 정렬 대상·메커니즘·심각도로 sycophancy를 분류하는 taxonomy 도입
💡 핵심 아이디어
sycophancy는 단순한 동의가 아니라 "독립적 판단을 사용자 단서로 대체하는" 정렬 행동이다. 이 정의는 명백한 동의뿐 아니라 미묘한 경계 실패까지 포착하며, 정렬 평가가 "옳음"이 아니라 "왜·어떻게 잘못됐는가"를 분석하도록 만든다.
🔬 기술적 접근법
- **모델/방법론**: 3조건(사용자 단서 / 정렬 변화 / 인식 무결성 훼손) 프레임워크
- **핵심 기법**: Figure 1처럼 경계 위반 사례의 walkthrough를 정의 → Figure 2의 D1–D3 taxonomy(정렬 대상, 메커니즘, 심각도) → Figure 3의 미묘한 sycophancy 사례를 분류
📊 주요 결과
- 외형 기반 평가가 놓치는 미묘한 경계 실패 사례를 체계적으로 식별 가능
- 3조건이 각각 평가 항목으로 변환되어 boundary-aware 평가 루브릭 제공
- 정렬 평가에 적용할 수 있는 구조화된 채점 가이드를 제안
💭 의의 및 한계
**의의**: 정렬 평가에서 표면 행동에서 인식론적 차원으로 평가 축을 넓혀, 모델 카드·안전성 보고서가 더 실효성 있게 sycophancy를 다루도록 함. **한계**: 포지션 페이퍼이므로 대규모 실증 평가가 부족하고, 3조건 검증을 위한 자동 평가기 구현은 후속 과제다.
🚀 실용적 활용
- LLM 안전성·정렬 평가 벤치마크의 sycophancy 측정 항목 재설계
- 사용자 의견·전제에 휘둘리지 않는 도메인 어시스턴트(법률·의료 자문) 평가
- 모델 카드·정렬 보고서의 boundary-aware 채점 루브릭