Generalization or Memorization: Data Contamination and Trustworthy Evaluation for Large Language Models

Recent statements about the impressive capabilities of large language models (LLMs) are usually supported by evaluating on open-access benchmarks. Considering the vast size and wide-ranging sources of LLMs' training data, it could explicitly or implicitly include test data, leading to LLMs being more susceptible to data contamination. However, due to the opacity of training data, the black-box access of models, and the rapid growth of synthetic training data, detecting and mitigating data contamination for LLMs faces significant challenges. In this paper, we propose CDD, which stands for Contamination Detection via output Distribution for LLMs. CDD necessitates only the sampled texts to detect data contamination, by identifying the peakedness of LLM's output distribution. To mitigate the impact of data contamination in evaluation, we also present TED: Trustworthy Evaluation via output Distribution, based on the correction of LLM's output distribution. To facilitate this study, we introduce two benchmarks, i.e., DetCon and ComiEval, for data contamination detection and contamination mitigation evaluation tasks. Extensive experimental results show that CDD achieves the average relative improvements of 21.8\%-30.2\% over other contamination detection approaches in terms of Accuracy, F1 Score, and AUC metrics, and can effectively detect implicit contamination. TED substantially mitigates performance improvements up to 66.9\% attributed to data contamination across various contamination setups. In real-world applications, we reveal that ChatGPT exhibits a high potential to suffer from data contamination on HumanEval benchmark.

한 줄 요약

LLM의 데이터 오염 문제를 탐지하고 신뢰성 있는 평가를 위한 CDD와 TED 방법을 제안하며, 실세계 적용에서 ChatGPT의 오염 가능성도 밝힘.

핵심 기여도

CDD: LLM의 출력 분포를 기반으로 데이터 오염을 탐지하는 방법으로, 정확도, F1, AUC 지표에서 기존 방법 대비 21.8%~30.2% 개선.
TED: 출력 분포 수정을 통해 평가 시 데이터 오염의 영향을 최대 66.9%까지 완화.
DetCon과 ComiEval: 각각 데이터 오염 탐지 및 완화 평가를 위한 새로운 벤치마크 데이터셋 제안.
ChatGPT가 HumanEval 데이터셋에서 데이터 오염에 취약하다는 실증적 증거 제시.

핵심 아이디어

LLM의 출력 분포가 훈련 데이터에 노출된 경우 더 뾰족한 형태를 띨 가능성이 있다는 가설을 바탕으로, CDD는 샘플 텍스트만으로 오염 여부를 탐지한다. 이는 기존의 훈련 데이터 투명도 부족, 모델의 블랙박스 특성, 합성 데이터 증가 등으로 인해 기존 방법이 한계를 겪는 문제를 해결한다. TED는 평가 시 오염된 데이터의 영향을 줄이기 위해 출력 분포를 수정하는 알고리즘으로, 다양한 오염 설정에서 효과적임을 실험적으로 입증했다.

기술적 접근법

**CDD**: LLM의 출력 분포의 뾰족함(peakedness)을 분석하여 데이터 오염을 탐지. 샘플 텍스트만 필요.
**TED**: 출력 분포를 수정하여 오염 영향을 완화.
**DetCon**: 데이터 오염 탐지용 벤치마크.
**ComiEval**: 오염 완화 평가용 벤치마크.
실험 환경: 24개 설정, 21개 오염 정도에서 평가.
수치: CDD는 정확도, F1, AUC에서 기존 방법 대비 21.8%~30.2% 개선. TED는 오염으로 인한 성능 향상 최대 66.9% 감소.

주요 결과

CDD는 DetCon 데이터셋에서 정확도, F1, AUC 지표에서 기존 방법 대비 평균 21.8%~30.2% 개선.
TED는 ComiEval에서 24개 설정, 21개 오염 정도에서 성능 향상 최대 66.9% 감소.
HumanEval 데이터셋에서 ChatGPT는 데이터 오염에 높은 취약성 보임.

의의 및 한계

이 연구는 LLM 평가의 신뢰도를 높이기 위한 체계적인 접근법을 제시하며, 특히 훈련 데이터의 불투명성과 블랙박스 모델의 한계를 극복한 점에서 학술적·실용적 의의가 크다. 그러나 CDD와 TED는 모두 출력 분포 기반의 방법으로, 내부 훈련 데이터에 대한 접근이 불가능한 모델(예: ChatGPT)에만 적용 가능하다는 한계가 있다. 또한, 합성 데이터의 다양한 변형(번역, 설명 추가 등)에 대한 탐지 능력은 추가 연구가 필요하다.

실용적 활용

CDD와 TED는 LLM의 평가 신뢰도를 높이는 데 활용될 수 있으며, 특히 소프트웨어 엔지니어링, 자동 질문 답변, 코드 생성 등에서 실제 성능을 정확히 평가하는 데 유용하다. 또한, 모델 개발자들이 훈련 데이터 오염을 사전에 탐지하고 완화하는 데 활용 가능하다.