DetectRL-X: Towards Reliable Multilingual and Real-World LLM-Generated Text Detection

The effective detection and governance of Large Language Model (LLM) generated content has become increasingly critical due to the growing risk of misuse. Despite the impressive performance of existing detectors, their reliability and potential in multilingual, real-world scenarios remain largely underexplored. In this study, we introduce DetectRL-X, a comprehensive multilingual benchmark designed to evaluate advanced detectors across 8 dimensions. The benchmark encompasses 8 languages commonly used in commercial contexts and collects human-written texts from 6 domains highly susceptible to LLM misuse. To better aligned with real-world applications, We create LLM-generated texts using 4 popular commercial LLMs, and include typical AI-assisted writing operations such as polishing, expanding, and condensing to capture authentic usage patterns. Furthermore, we develop a multilingual framework for paraphrasing and perturbation attacks to simulate diverse human modifications and writing noise, enabling stress testing of detectors across languages. Experimental results on DetectRL-X reveal the strengths and limitations of current state-of-the-art detectors when applied to diverse linguistic resources. We further analyze how domains, generators, attack strategies, text length, and refinement operations influence performance in different languages, underscoring DetectRL-X as an effective benchmark for strengthening multilingual and language-specific detectors.

📋 한 줄 요약

**[NLP 평가 / LLM 텍스트 탐지]** 8개 언어·6개 도메인·4개 상용 LLM·다양한 공격 시나리오를 포괄하는 다국어 실사용 LLM 생성 텍스트 탐지 벤치마크 DetectRL-X 공개.

🎯 핵심 기여도

LLM 생성 콘텐츠의 효과적 탐지·거버넌스 필요성이 커지는 가운데, 기존 탐지기가 다국어·실세계 시나리오에서 신뢰성이 충분히 검증되지 않았다는 평가 공백을 정의.
8개 차원에 걸쳐 최첨단 탐지기를 평가하는 종합 다국어 벤치마크 DetectRL-X 설계.
상용 환경에서 흔히 쓰이는 8개 언어와 LLM 오남용 위험이 큰 6개 도메인의 인간 작성 텍스트를 수집.
4개 인기 상용 LLM으로 텍스트를 생성하고 polishing, expanding, condensing 같은 AI 보조 작성 작업을 포함, 다국어 패러프레이즈·교란 공격 프레임워크로 탐지기 견고성을 스트레스 테스트.

💡 핵심 아이디어

실제 LLM 오남용은 단일 언어·단일 도메인이 아니라 다국어·다도메인 + 사람의 후처리를 포함하는 복합 시나리오에서 발생하므로, 탐지 평가도 이 복합성을 동일하게 재현해야 한다.

🔬 기술적 접근법

**모델/방법론**: 8개 차원 평가 축, 8개 언어·6개 도메인·4개 상용 LLM 기반 다국어 탐지 벤치마크.
**핵심 기법**: AI 보조 작성 작업(polish/expand/condense) 시뮬레이션, 다국어 paraphrasing·perturbation 공격 프레임워크, 도메인·생성기·공격 전략·텍스트 길이·정제 작업 영향 분해 분석.

📊 주요 결과

현행 SOTA 탐지기들의 다국어·실세계 강점과 한계를 정량적으로 드러냄.
언어별로 도메인·생성기·공격 전략·텍스트 길이·정제 작업이 성능에 미치는 영향을 체계적으로 분해.
DetectRL-X를 다국어·언어별 탐지기 강화에 유효한 평가 도구로 자리매김.

💭 의의 및 한계

**의의**: LLM 텍스트 탐지 연구의 평가 표준을 단일 언어·합성 시나리오에서 실세계 다국어·다공격 시나리오로 확장. **한계**: 8개 언어와 6개 도메인 외 자원이 부족한 언어·전문 도메인으로의 일반화는 후속 과제.

🚀 실용적 활용

미디어·교육·플랫폼 거버넌스용 다국어 LLM 텍스트 탐지기 선정.
탐지기 견고성 진단을 위한 표준 스트레스 테스트 셋.
AI 보조 작성 워크플로별 탐지 난이도 정량화 도구.