SPARK: Self-Play with Asymmetric Reward from Knowledge Graphs

Self-play reinforcement learning has shown strong performance in domains with formally verifiable structure, such as mathematics and coding, where both problem generation and reward computation can be grounded in explicit rules. Extending this paradigm to scientific literature is more challenging: the relationships among multi-modal elements within and across documents are rarely made explicit in text, which makes automatic generation of relational reasoning questions difficult and weakens the reliability of reward signals. We propose SPARK (Self-Play with Asymmetric Reward from Knowledge Graphs), a framework that automatically constructs a unified knowledge graph (KG) from multi-document scientific literature and uses it as the structural basis for self-play. KG paths over multimodal nodes serve as a source for generating relational reasoning questions, and structured facts stored in the KG provide a basis for verifiable reward computation. A single small vision-language model (sVLM) alternates between Proposer and Solver roles under information asymmetry against a fixed KG, a design that we believe can be naturally extended toward online adaptation in future work. We evaluate SPARK on public benchmarks and a self-constructed cross-document multi-hop QA dataset. Results show that SPARK consistently outperforms flat-corpus-based self-play baselines, and the performance gap widens as hop count increases, suggesting that KG-structure grounding contributes to relational multi-hop reasoning beyond what unstructured corpus grounding can provide.

📋 한 줄 요약

**[자기학습 LLM]** 다중 문서 과학 문헌으로부터 통합 지식 그래프를 자동 구축하고, 이를 기반으로 비대칭 보상 self-play를 수행해 멀티홉 관계 추론 능력을 강화하는 SPARK 프레임워크를 제안한다.

🎯 핵심 기여도

다중 문서 과학 문헌에서 멀티모달 노드를 갖는 통합 지식 그래프(KG)를 자동 구축하여 self-play의 구조적 기반을 제공
KG 경로를 활용한 관계 추론 질문 자동 생성 및 KG 기반 검증 가능한 보상(verifiable reward) 설계
단일 sVLM이 정보 비대칭 환경에서 Proposer ↔ Solver 역할을 교대 수행하는 비대칭 보상 self-play 도입
공개 벤치마크와 자체 구축한 cross-document 멀티홉 QA 데이터셋에서 평탄(flat) 코퍼스 기반 self-play 베이스라인 대비 일관된 성능 향상 입증

💡 핵심 아이디어

수학·코딩과 달리 과학 문헌은 문서 간·내 관계가 텍스트에 명시되지 않아 self-play의 보상 신호가 약하다. SPARK는 KG라는 명시적 관계 구조를 self-play의 "검증자"로 사용함으로써, 자동 생성되는 관계 추론 질문에 대해서도 신뢰할 수 있는 보상을 제공한다.

🔬 기술적 접근법

**모델/방법론**: Qwen3-VL 계열 sVLM — Proposer/Solver 역할로 교대 사용
**핵심 기법**: Figure 1처럼 (1) 다중 문서 → 멀티모달 KG 자동 구축 → (2) KG 경로 샘플링으로 관계 추론 문항 생성 → (3) 정보 비대칭 self-play로 RL, KG의 구조화된 사실로 보상 검증

📊 주요 결과

Table 2의 KG-grounded 멀티홉 추론에서 hop 수가 늘수록 평탄 코퍼스 베이스라인과의 격차가 확대
Table 1의 공개 벤치마크에서도 일관된 향상, Table 3의 보상 구성 ablation으로 KG 기반 검증 보상의 기여 확인
Figure 2의 응답 비교에서 SPARK가 다문서 근거를 더 정확히 결합

💭 의의 및 한계

**의의**: 검증 불가능했던 과학 문헌 도메인에 형식적 구조(KG)를 도입해 self-play RL을 일반화할 수 있는 길을 제시. **한계**: 고정 KG에 의존하여 KG 자체의 누락·오류가 보상 편향으로 이어질 수 있고, 온라인 적응은 미래 과제로 남음.

🚀 실용적 활용

과학 문헌 다중 홉 QA·연구 보조 에이전트 학습
도메인 KG가 존재하는 의료·법률 문헌의 검증 가능 self-play 학습
작은 VLM으로도 가능한 저비용 도메인 추론 강화 파이프라인