Hi-Q: Hierarchical Evidence-guided Query Refinement for Multi-Hop Question Answering

A central bottleneck in multi-hop Question Answering (QA) is that the granularity at which a question is expressed often differs from the granularity at which corpus evidence is retrievable. Existing methods address this mismatch by imposing fixed graph structures over the corpus, by iteratively reformulating the query, or by executing a generated program over it, but these strategies do not explicitly decide when a query unit is already supported by evidence and when it should be refined. We formulate this bottleneck as retrievable granularity discovery and introduce Hi-Q, an evidence-conditioned framework for hierarchical query refinement. At each query node, a resolution operator tests whether retrieved evidence supports the current query unit; resolved nodes terminate, while unresolved nodes are expanded by a dependency-preserving binary operator and checked by a semantic coverage verifier. Hi-Q therefore grows a query tree whose topology is determined by corpus support signals rather than by a fixed decomposition template or a pre-built graph. We evaluate Hi-Q on three multi-hop QA benchmarks, primarily under full-corpus retrieval, where dependent evidence must be located among open-domain distractors rather than within a small annotated pool. In this setting Hi-Q reaches 52.3 EM and 64.0 F1 averaged over the three benchmarks, ahead of the iterative retrieval baseline IRCoT by 15.1 EM / 18.2 F1 on that same average, and ahead of the graph-based RAG baseline PropRAG by 11.5 EM / 12.0 F1 on MuSiQue-full, without corpus-wide graph construction. In the restricted supporting/distractor setting used by prior work, Hi-Q likewise attains the best accuracy, with 57.9 EM and 69.3 F1 on average, ahead of PropRAG by 5.6 EM / 3.9 F1 and IRCoT by 13.7 EM / 15.8 F1. The project page is available at https://hi-q-project.github.io/.

한 줄 요약

Hi-Q는 다중 점프 질문 답변에서 증거 기반으로 쿼리 단위의 가독성 여부를 판단하여 계층적 쿼리 정제를 수행하는 새로운 RAG 프레임워크이다.

핵심 기여도

**Retrievable granularity discovery**: 쿼리 단위가 주어진 코퍼스에서 실제로 검색 가능하고 답변 가능한지 판단하는 문제를 정의.
**Failure-aware granularity control**: 증거 기반의 쿼리 노드 확장 정책을 제안. Resolution operator가 부족한 증거를 감지할 때만 쿼리를 정제.
**Dependency-preserving hierarchical refinement**: 전제 조건이 있는 하위 쿼리를 먼저 해결하고, 의미적 커버리지 검증기로 부모 쿼리의 의도를 유지.
**Full-corpus retrieval 성능**: MuSiQue-full에서 PropRAG 대비 11.5 EM / 12.0 F1 개선, IRCoT 대비 15.1 EM / 18.2 F1 개선.

핵심 아이디어

기존 다중 점프 QA 시스템은 쿼리 단위의 표현과 코퍼스 증거의 검색 단위 간 불일치를 해결하기 위해 고정 그래프 구조, 반복 쿼리 재구성, 또는 생성된 프로그램 실행을 사용하지만, 이들은 쿼리 단위가 이미 증거에 의해 지원되는지 여부를 명시적으로 결정하지 못한다. Hi-Q는 이 문제를 "retrievable granularity discovery"로 정의하고, 쿼리 트리의 구조를 코퍼스 지원 신호에 따라 동적으로 생성하는 방식을 제안한다.

Hi-Q는 쿼리 노드마다 resolution operator를 사용해 증거가 현재 쿼리 단위를 지원하는지 판단한다. 해결된 노드는 종료되며, 해결되지 않은 노드는 dependency-preserving binary operator를 통해 확장되고, semantic coverage verifier에 의해 부모 쿼리의 의미를 유지하는지 확인된다. 이는 쿼리 트리의 구조가 고정된 템플릿이 아닌 코퍼스의 실제 지원 신호에 의해 결정된다는 점에서 기존 접근과 구별된다.

기술적 접근법

**Resolution operator**: 현재 쿼리 단위가 증거에 의해 충분히 지원되는지 판단.
**Dependency-preserving binary operator**: 해결되지 않은 노드를 의미적 의존성을 유지하면서 이진 분할.
**Semantic coverage verifier**: 분할된 하위 쿼리가 부모 쿼리의 의미를 유지하는지 확인.
**Full-corpus retrieval 설정**: 개방 도메인의 다중 선택지 중에서 필요한 증거를 찾아야 하는 환경에서 평가.
**LLM 사용 최소화**: 반복 쿼리 기반 IRCoT 대비 동일 수의 LLM 호출로 더 저렴하고 정확한 성능을 보임.

주요 결과

**Full-corpus retrieval 설정**: 세 개의 다중 점프 QA 벤치마크에서 평균 52.3 EM, 64.0 F1 달성.
IRCoT 대비 +15.1 EM / +18.2 F1, PropRAG 대비 MuSiQue-full에서 +11.5 EM / +12.0 F1.
**제한된 지원/분산 설정**: 평균 57.9 EM, 69.3 F1 달성.
PropRAG 대비 +5.6 EM / +3.9 F1, IRCoT 대비 +13.7 EM / +15.8 F1.

의의 및 한계

Hi-Q는 쿼리 단위의 가독성 여부를 증거 기반으로 판단하는 새로운 제어 메커니즘을 도입하여, 기존 반복 쿼리, 그래프 기반 RAG, 코드 실행 에이전트 기반 접근법을 모두 초과하는 성능을 보인다. 특히, 코퍼스 전체 그래프 구축 없이도 뛰어난 정확도를 달성함으로써, 대규모 코퍼스 환경에서 실용성을 높인다.

그러나 Hi-Q는 쿼리 분할과 병합의 최적 경계를 정확히 결정하는 데 여전히 어려움이 있을 수 있으며, 쿼리 트리의 복잡성이 증가함에 따라 계산 비용이 증가할 수 있다는 한계가 있다. 또한, 쿼리 분할 시 의미적 커버리지 검증의 정확도가 전체 성능에 큰 영향을 미친다는 점도 주목할 필요가 있다.

실용적 활용

Hi-Q는 대규모 개방 도메인 코퍼스에서 다중 단계 추론이 필요한 QA 시스템에 적용 가능하며, 특히 의료, 법률, 역사 분야에서 복합 질문에 대한 정확한 답변 생성에 유용할 수 있다. 또한, 쿼리 분할과 병합을 자동화하여 사용자 질의를 효율적으로 처리하는 챗봇 및 검색 엔진 개선에도 활용 가능하다.