PolitNuggets: Benchmarking Agentic Discovery of Long-Tail Political Facts

Large Reasoning Models (LRMs) embedded in agentic frameworks have transformed information retrieval from static, long context question answering into open-ended exploration. Yet real world use requires models to discover and synthesize "long-tail" facts from dispersed sources, a capability that remains under-evaluated. We introduce PolitNuggets, a multilingual benchmark for agentic information synthesis via constructing political biographies for 400 global elites, covering over 10000 political facts. We standardize evaluation with an optimized multi agent system and propose FactNet, an evidence conditional protocol that scores discovery, fine-grained accuracy, and efficiency. Across models and settings, we find that current systems often struggle with fine-grained details, and vary substantially in efficiency. Finally, using benchmark diagnostics, we relate agent performance to underlying model capabilities, highlighting the importance of short-context extraction, multilingual robustness, and reliable tool use.

📋 한 줄 요약

**[Benchmark / Agentic Retrieval]** 흩어진 출처에서 long-tail 정치 사실을 발굴·합성하는 에이전트 능력을 평가하는 다국어 벤치마크 PolitNuggets와 FactNet 평가 프로토콜을 제안한다.

🎯 핵심 기여도

정적 long-context QA에서 벗어나 dispersed source 기반의 long-tail 사실 발굴·합성 능력을 평가하는 새로운 벤치마크 PolitNuggets 제안
400명의 글로벌 정치 엘리트에 대한 다국어 정치 약력을 구성하며 10,000개 이상의 정치 사실을 커버
최적화된 멀티에이전트 시스템으로 평가를 표준화하고, evidence-conditional protocol인 FactNet으로 discovery, fine-grained accuracy, efficiency를 분리 채점
모델·설정 간 비교 및 벤치마크 진단으로 에이전트 성능과 모델 능력(짧은 컨텍스트 추출, 다국어 견고성, 신뢰 가능한 도구 사용)을 연결

💡 핵심 아이디어

LRM이 결합된 에이전트는 더 이상 "긴 문서에서 답 찾기"가 아니라 "흩어진 출처에서 사실을 발굴·통합하기"를 수행한다. 따라서 평가도 단일 패러프레이즈식 QA 점수가 아니라, 발견율·정밀성·효율을 evidence 기반으로 분리해서 보아야 한다.

🔬 기술적 접근법

**모델/방법론**: 400명의 정치 인물에 대해 구축된 다국어 사실 데이터셋과, 그 위에서 동작하는 표준화된 multi-agent 평가 시스템 PolitNuggets
**핵심 기법**: evidence-conditional 평가 프로토콜 FactNet에서 discovery(얼마나 많이 찾았는가)·accuracy(얼마나 정밀한가)·efficiency(어떤 비용으로) 세 축을 분리 채점, 모델 능력 진단으로 다국어/짧은 컨텍스트/도구 사용 능력 평가

📊 주요 결과

현재 시스템들이 fine-grained 정치 사실에는 자주 실패하며, efficiency 측면에서 모델·설정 간 편차가 큼
모델별로 short-context extraction, multilingual robustness, reliable tool use가 전체 성능에 결정적인 요인임을 진단
다국어, long-tail 사실에서의 성능 격차를 정량적으로 노출

💭 의의 및 한계

**의의**: 검색–합성 에이전트 평가의 표준이 될 수 있는 다국어 정치 사실 벤치마크와 evidence-conditional 평가 프로토콜을 함께 제공. **한계**: 정치 도메인 특수성과 다국어 사실의 시간 의존성, 평가 시스템 자체가 표준화된 에이전트 구성에 의존한다는 점.

🚀 실용적 활용

LRM·에이전트의 long-tail 사실 발굴 능력 평가/리더보드
정치·법률 등 사실 정확성이 중요한 도메인 시스템 설계
다국어/짧은 컨텍스트 추출 능력 개선을 위한 진단·연구 도구