WildChat: 1M ChatGPT Interaction Logs in the Wild

Chatbots such as GPT-4 and ChatGPT are now serving millions of users. Despite their widespread use, there remains a lack of public datasets showcasing how these tools are used by a population of users in practice. To bridge this gap, we offered free access to ChatGPT for online users in exchange for their affirmative, consensual opt-in to anonymously collect their chat transcripts and request headers. From this, we compiled WildChat, a corpus of 1 million user-ChatGPT conversations, which consists of over 2.5 million interaction turns. We compare WildChat with other popular user-chatbot interaction datasets, and find that our dataset offers the most diverse user prompts, contains the largest number of languages, and presents the richest variety of potentially toxic use-cases for researchers to study. In addition to timestamped chat transcripts, we enrich the dataset with demographic data, including state, country, and hashed IP addresses, alongside request headers. This augmentation allows for more detailed analysis of user behaviors across different geographical regions and temporal dimensions. Finally, because it captures a broad range of use cases, we demonstrate the dataset's potential utility in fine-tuning instruction-following models. WildChat is released at https://wildchat.allen.ai under AI2 ImpACT Licenses.

한 줄 요약

WildChat은 100만 건의 실제 사용자-ChatGPT 대화 기록을 담은 다국어, 다차례 대화 데이터셋으로, 사용자 행동 분석 및 대화 모델 튜닝에 활용 가능하다.

핵심 기여도

100만 건의 사용자-ChatGPT 대화 기록(250만 개 이상의 대화 턴)을 수집한 **WildChat** 데이터셋을 공개.
기존 대화 데이터셋 대비 **가장 다양한 사용자 프롬프트**, **가장 많은 언어 수**, **가장 풍부한 유해 사용 사례**를 포함.
**국가, 지역, 해시된 IP 주소** 등 인구통계 데이터를 포함하여 시간 및 지역별 사용자 행동 분석 가능.
**Instruction-following 모델의 fine-tuning**에 활용 가능성을 보여주는 실험 결과 제시.

핵심 아이디어

기존 대화 데이터셋은 대부분 단일 턴, 전문가가 정리한 데이터로 구성되어 실제 사용자 행동과 차이가 있다. WildChat은 사용자가 직접 참여한 대화를 수집하여 실제 사용 환경을 반영한 데이터를 제공한다. 사용자는 **ChatGPT에 대한 무료 접근**을 대가로 **익명의 대화 기록 제공에 동의**했으며, 이는 **사용자 행동의 대표성과 데이터의 신뢰성**을 높인다. 또한, **IP 주소 해시화**, **요청 헤더 수집**, **시간戳 기록** 등을 통해 **지리적, 시간적 차원의 분석 가능성을 확장**하였다.

기술적 접근법

**GPT-3.5-Turbo API**와 **GPT-4 API**를 활용한 챗봇 서비스를 **Hugging Face Spaces**에 호스팅.
사용자로부터 **대화 기록**, **요청 헤더**, **해시된 IP 주소**를 수집.
**계정 생성 없이 익명으로 이용 가능**하도록 설계.
**2023년 4월 9일부터 2024년 5월 1일까지** 약 13개월간 데이터 수집.
**LLM Judge**를 사용하여 **WildLlama**, **Vicuna 7B**, **Llama-2 Chat 7B**, **GPT-3.5**, **GPT-4** 등과 비교 평가.
**MT-bench**를 기반으로 **쓰기, 역할극, 코딩, 수학, 추론, STEM, 인문학** 등 7개 차원에서 평가.

주요 결과

**WildChat**은 기존 대화 데이터셋 대비 **가장 다양한 사용자 프롬프트**, **가장 많은 언어 수**, **가장 풍부한 유해 사용 사례**를 포함.
**10% 이상의 대화가 유해**한 것으로 분석되어, 대화 시스템의 안전성 연구에 중요한 자료가 될 수 있음.
**WildLlama**는 **Vicuna 7B**와 비교 시 **75% 이상의 경우 우수하거나 동일한 성능**을 보임.
**GPT-3.5 및 GPT-4** 대비 **성능 저하**가 관찰되었으나, **Instruction-following 모델의 fine-tuning에 효과적**임을 보여줌.
**Roleplay 및 코딩** 분야에서 **WildLlama**가 상대적으로 우수한 성능을 보임.

의의 및 한계

WildChat은 대규모 실제 사용자-챗봇 대화 데이터의 부족을 해결하고, **다국어, 다차례 대화**, **인구통계 데이터**를 포함한 **다차원 분석 가능성을 제공**한다. 특히, **10% 이상의 유해 대화**는 대화 시스템의 안전성 연구에 중요한 자료가 될 수 있다. 그러나 **GPT-3.5 및 GPT-4와 비교 시 성능 저하**가 나타나며, **RLHF 단계가 포함되지 않은 모델**이기 때문에, **인간 피드백 기반 최적화가 필요한 상황에서는 한계가 있다**. 또한, **사용자 참여 기반 수집 방식**으로 인해 **표본 편향 가능성**이 존재할 수 있다.

실용적 활용

WildChat은 **대화형 AI 연구**, **사용자 행동 분석**, **AI 윤리 연구**, **대화 모델 튜닝** 등 다양한 분야에서 활용 가능하다. 특히, **다국어 대화 분석**, **지역별 사용자 행동 추적**, **유해 콘텐츠 연구**, **Instruction-following 모델 개선**에 기여할 수 있다. 산업적으로는 **챗봇 개발**, **사전 학습 모델의 fine-tuning**, **사용자 맞춤형 서비스 설계** 등에 활용 가능하다.