Graph-Native Reinforcement Learning Enables Traceable Scientific Hypothesis Generation through Conceptual Recombination

Accelerating materials discovery requires AI systems that can generate scientifically valid hypotheses through multi-step, domain-grounded reasoning. Standard large language models often produce fluent but weakly traceable responses to open-ended materials design problems, making it difficult to determine whether final answers are supported by coherent intermediate reasoning. We develop Graph-PRefLexOR, a family of graph-native reasoning models fine-tuned with Group Relative Policy Optimization (GRPO) to organize reasoning into explicit phases for mechanism exploration, graph construction, pattern extraction, and hypothesis synthesis. This design links neural language generation with symbolic relational structure, enabling causal connections to be constructed, inspected, and reused. On 100 open-ended questions from materials science and mechanics literature, Graph-PRefLexOR achieves 40-65% improvements over corresponding base models, with the largest gains in reasoning traceability. Embedding analyses show broader semantic exploration and approximately 2-3 times greater semantic diversity than baselines. Semantic backtracking and layer-wise hidden-state analyses further show stronger alignment between structured reasoning and final answers. Finally, test-time graph expansion reveals that additional compute primarily increases long-range conceptual recombination within a bounded semantic space, rather than simply expanding semantic coverage. These results establish graph-native reinforcement learning as a pathway toward interpretable AI systems for scientific hypothesis generation in materials design and other scientific applications.

한 줄 요약

Graph-PRefLexOR는 그래프 기반 강화학습을 통해 추적 가능한 과학적 가설을 생성하는 시스템으로, 추론 투명성과 개념 재조합 능력이 향상되었다.

핵심 기여도

Graph-PRefLexOR는 GRPO(그룹 상대 정책 최적화)를 사용하여 추론을 `<brainstorm>`, `<graph>`, `<graph_json>`, `<patterns>`, `<synthesis>` 단계로 구조화함.
100개의 개방형 물리·재료과학 문제에서 기존 모델 대비 40–65% 향상된 추론 품질을 달성함.
추론 추적성(traceability)에서 가장 큰 개선이 관찰됨.
임베딩 분석에서 2–3배 더 높은 의미적 다양성을 보임.

핵심 아이디어

기존 대형 언어 모델(LLM)은 과학적 추론을 텍스트로만 표현하여 추적성이 낮고, 개념 간 인과 관계를 명확히 표현하지 못한다. 이에 반해 Graph-PRefLexOR는 추론 과정 자체를 그래프 구조로 표현함으로써 추론의 투명성과 재사용성을 높인다. `<graph_json>` 단계에서 개념을 노드, 관계를 에지로 표현하는 방식은 인과 맵핑을 명시적으로 구축할 수 있게 한다. GRPO 알고리즘은 여러 추론 경로를 비교해 상대적으로 더 구조화되고 추적 가능한 추론을 보상함으로써 모델의 추론 품질을 향상시킨다.

기술적 접근법

**모델 구조**: Graph-PRefLexOR는 Qwen3-8B, Llama-3.2-3B-Instruct, Qwen3-1.7B를 기반으로 8B, 3B, 1.7B 파라미터 규모로 초기화한 후 GRPO로 미세조정됨.
**추론 단계**: `<brainstorm>`(기전 탐색), `<graph>`(개념 추상화), `<graph_json>`(기계 읽기 가능한 그래프 생성), `<patterns>`(고차원 패턴 추출), `<synthesis>`(가설 종합)로 구성됨.
**GRPO 알고리즘**: 생성된 추론 경로를 그룹 단위로 비교하여 상대적 품질에 따라 보상을 부여함으로써 추론 구조화를 유도함.
**평가 지표**: 추론 품질, 지적 깊이, 추론 추적성, 종합 점수(0–10)로 측정하며, Claude opus-4.7를 사용해 외부 평가자로 활용함.

주요 결과

100개의 개방형 물리·재료과학 문제에서 Graph-PRefLexOR는 기존 모델 대비 40–65% 향상된 종합 점수를 기록함.
추론 추적성(traceability)에서 가장 큰 개선이 나타나며, 8B 모델이 1.7B 모델 대비 25–30% 더 높은 점수를 기록함.
임베딩 분석에서 의미 탐색 범위가 더 넓고, 의미적 다양성이 기존 모델 대비 2–3배 증가함.
`<synthesis>` 단계에서 최종 답변과 추론 경로의 일관성이 높아짐.

의의 및 한계

Graph-PRefLexOR는 추론 과정을 그래프 구조로 명시적으로 표현함으로써 과학적 가설 생성의 투명성과 재사용성을 높이는 기반을 제공한다. 특히, `<graph_json>` 단계는 인과 관계를 기계적으로 표현할 수 있게 하여, 추론의 검증 가능성을 높인다. 그러나, GRPO는 상대적 비교를 기반으로 하기 때문에 절대적 정답이 필요한 문제에서는 한계가 있을 수 있다. 또한, 기존 LLM 기반 모델에서 추론 구조를 강제 적용하는 방식은 모델 아키텍처에 따라 성능 차이가 발생할 수 있다.

실용적 활용

Graph-PRefLexOR는 재료 설계, 물리학, 화학 등 다분야에서 인과 관계를 기반으로 한 가설 생성에 활용 가능하다. 특히, 실험 설계, 시뮬레이션, 자동화된 과학 실험 시스템과 결합하여 과학적 탐구의 효율성을 높일 수 있다. 추론 과정의 투명성은 연구자들이 모델의 추론 경로를 검토하고 수정할 수 있게 하여, 신뢰성 있는 AI 지원 과학 탐구를 가능하게 한다.