Do Large Language Models Latently Perform Multi-Hop Reasoning?

We study whether Large Language Models (LLMs) latently perform multi-hop reasoning with complex prompts such as"The mother of the singer of 'Superstition' is". We look for evidence of a latent reasoning pathway where an LLM (1) latently identifies"the singer of 'Superstition'"as Stevie Wonder, the bridge entity, and (2) uses its knowledge of Stevie Wonder's mother to complete the prompt. We analyze these two hops individually and consider their co-occurrence as indicative of latent multi-hop reasoning. For the first hop, we test if changing the prompt to indirectly mention the bridge entity instead of any other entity increases the LLM's internal recall of the bridge entity. For the second hop, we test if increasing this recall causes the LLM to better utilize what it knows about the bridge entity. We find strong evidence of latent multi-hop reasoning for the prompts of certain relation types, with the reasoning pathway used in more than 80% of the prompts. However, the utilization is highly contextual, varying across different types of prompts. Also, on average, the evidence for the second hop and the full multi-hop traversal is rather moderate and only substantial for the first hop. Moreover, we find a clear scaling trend with increasing model size for the first hop of reasoning but not for the second hop. Our experimental findings suggest potential challenges and opportunities for future development and applications of LLMs.

한 줄 요약

대규모 언어 모델(LLM)이 다중 점프 추론을 잠재적으로 수행하는지 실험적으로 분석하고, TwoHopFact 데이터셋과 내부 추론 경로를 측정하는 새로운 지표를 제안한다.

핵심 기여도

TwoHopFact 데이터셋을 구축하여 52개의 사실 조합 유형에 걸쳐 45,595개의 2단계 질문을 분석.
내부 엔티티 재현 점수(EntRec)와 일관성 점수(CnstScore)를 제안하여 LLM의 내부 추론 경로를 측정.
첫 번째 점프에서 70%의 경우, LLM이 브리지 엔티티를 더 잘 재현하며, 두 번째 점프에서는 60%의 경우 일관성이 증가.
모델 크기 증가 시 첫 번째 점프 성능은 향상되지만, 두 번째 점프는 거의 변화 없음.

핵심 아이디어

기존 연구는 LLM이 명시된 정보를 기반으로 추론하는 능력을 보여주었으나, 이 연구는 정보가 입력에 포함되지 않은 경우에도 LLM이 내부 지식을 활용해 다중 점프 추론을 수행하는지 탐구한다. 예를 들어, "Superstition"의 가수인 Stevie Wonder를 브리지 엔티티로 식별하고, 그의 어머니를 추론하는 두 단계를 분석한다. 이는 LLM이 단순히 정보를 저장하는 것이 아니라, 내부 지식을 연결하는 경로를 형성하고 있는지를 평가하는 핵심이다.

기술적 접근법

**TwoHopFact 데이터셋**: 45,595개의 2단계 질문을 포함, 52개의 사실 조합 유형으로 구성.
**EntRec (Entity Recall Score)**: LLM의 내부 표현을 어휘 공간으로 투영하여 브리지 엔티티 재현 정도를 측정.
**CnstScore (Consistency Score)**: 2단계 질문과 1단계 질문의 완성 분포 간 일관성을 비교.
**Entity/Relation Substitution**: 브리지 엔티티나 관계를 변경하여 내부 재현 점수 변화를 측정.
**LLaMA-2 7B, 13B, 70B 모델**을 사용하여 첫 번째 점프와 두 번째 점프의 성능을 비교.

주요 결과

첫 번째 점프에서, 70%의 경우 브리지 엔티티 재현 점수가 증가.
두 번째 점프에서, 60%의 경우 일관성 점수가 증가.
두 점프가 함께 작동하는 경우는 40% (랜덤 기준 25% 대비).
23%의 사실 조합 유형에서 80% 이상의 경우 다중 점프 추론 경로가 나타남.
모델 크기 증가 시 첫 번째 점프 성능 향상, 두 번째 점프는 거의 변화 없음.

의의 및 한계

이 연구는 LLM이 내부 지식을 연결하는 잠재적 경로를 형성할 수 있음을 입증하며, 모델 편집 및 추론 제어에 중요한 시사점을 제공한다. 그러나 두 번째 점프의 활용률이 낮고, 모델 크기 증가에 따른 성능 향상이 한쪽에만 집중된다는 점에서, 현재 아키텍처의 한계가 드러난다. 또한, 실험은 매우 좁은 해석 기준을 사용했기 때문에, 실제 모델의 능력은 더 높을 수 있다.

실용적 활용

이 연구는 LLM의 내부 추론 경로를 이해하고, 이를 기반으로 모델 편집, 추론 제어, 지식 연결 기술을 개선하는 데 활용될 수 있다. 특히, 지식 기반 질문 응답 시스템 및 대화형 AI 개발에 기여할 수 있다.