RuleTrek: Benchmarking Agentic Rule Reasoning in Complex Scenarios

Large language models (LLMs) increasingly tackle complex real-world tasks in specialized domains. However, identifying and correctly applying domain-specific rules remains challenging when scenario information is distributed across multiple files. Existing rule-reasoning benchmarks typically represent scenarios using only a few factual statements, simplifying the identification and application of relevant rules. To address this gap, this paper introduces RuleTrek, a multi-domain benchmark for agentic rule reasoning in complex scenarios. Its rule-grounded construction pipeline extracts structured rule graphs, generates and incrementally composes rule-specific sub-scenarios while ensuring consistency and solvability. To systematically evaluate agentic rule reasoning in complex scenarios, RuleTrek assesses three capabilities in interactive workspaces: Rule Identification (RI), Rule Deduction (RD), and End-to-End Rule Reasoning (E2E). Experiments on 11 frontier LLMs show that the highest RI and RD scores are only 62.47\% and 60.43\%, respectively, while E2E scores range from 26.97\% to 55.29\%. These results demonstrate that current LLM agents face substantial challenges in rule reasoning over complex scenarios. We make our code and dataset publicly available at https://github.com/yuan247/RuleTrek{RuleTrek}.

한 줄 요약

RuleTrek은 복잡한 다중 파일 시나리오에서 규칙 추론 능력을 평가하는 다분야 벤치마크로, 11개의 최신 LLM이 최대 62.47%의 정확도를 보임.

핵심 기여도

RuleTrek: 복잡한 시나리오에서 규칙 추론 능력을 평가하는 다분야 벤치마크 도입.
Rule-grounded scenario construction pipeline: 규칙 그래프 추출, 서브시나리오 생성, 일관성 및 해결 가능성 검증을 포함한 3단계 생성 파이프라인 제안.
11개 최첨단 LLM 평가: RI 최고 62.47%, RD 최고 60.43%, E2E 26.97~55.29%의 성능 기록.
6개 도메인(세금, PostgreSQL, 사이버보안 등)에 걸쳐 240개 인스턴스 포함.

핵심 아이디어

기존 규칙 추론 벤치마크는 단순한 사실 기반 시나리오만 다루어 실제 복잡한 상황을 반영하지 못했다. RuleTrek은 다중 파일에 분산된 정보를 통합해야 하는 복잡한 시나리오를 구축하여, 규칙 식별(RI), 규칙 추론(RD), 종단간 규칙 추론(E2E)의 세 가지 능력을 체계적으로 평가한다. 이는 규칙 그래프 추출, 서브시나리오 생성, 일관성 검증을 포함하는 rule-grounded 파이프라인을 통해 구현된다. 특히, 규칙 간 의존성을 반영한 그래프 기반 시나리오 생성이 핵심이며, 이는 기존 연구에서 다루지 못한 복잡도를 반영한다.

기술적 접근법

**Rule-grounded scenario construction pipeline**:

1) 규칙 그래프 추출 (real-world rule repositories에서)
2) 규칙별 서브시나리오 생성
3) 규칙 의존성에 따라 서브시나리오를 점진적으로 구성하며, 일관성과 해결 가능성 검증

**평가 능력**:
RI: 규칙 문서에서 규칙 및 의존 관계 식별
RD: 분산 정보 통합 및 규칙 적용
E2E: RI와 RD를 종합적으로 평가
**평가 환경**:
6개 도메인 (세금, PostgreSQL, 사이버보안 등)
240개 인스턴스, 평균 9.05개 노드, 8.69개 엣지, 평균 깊이 2.69
30분 시간 제한, 최대 200개 에이전트 스텝
**평가 기준**:
RI: 규칙 집합의 정확성과 논리적 유효성
RD/E2E: 4차원(사실 근거, 규칙 적용, 계산, 증거 지원) 기반 점수

주요 결과

**RI 최고 정확도**: 62.47% (GPT-6.1-Sol)
**RD 최고 정확도**: 60.43% (GPT-6.1-Sol)
**E2E 점수 범위**: 26.97% (Gemini-3.7-Flash) ~ 55.29% (GPT-6.1-Sol)
**성능 차이**: GPT-6.1-Sol은 34단계만으로 정답 도달, Qwen3.8-Flash는 57단계 후에도 오류 발생
**규칙 그래프 평균**: 9.05개 노드, 8.69개 엣지, 평균 깊이 2.69

의의 및 한계

RuleTrek은 규칙 기반 추론 능력을 체계적으로 평가할 수 있는 첫 번째 다분야 벤치마크로, 복잡한 시나리오에서의 규칙 식별 및 적용 능력을 정량적으로 평가할 수 있는 기반을 제공한다. 특히, 규칙 그래프 기반 시나리오 생성은 기존 연구에서 다루지 못한 복잡도를 반영하며, 다양한 도메인에서의 적용 가능성을 보여준다. 그러나, 모든 LLM이 동일한 시간 제약(30분, 200단계) 내에서 평가받기 때문에, 실제 작업 환경에서의 성능과의 차이가 있을 수 있다. 또한, 일부 규칙 문서는 학술적 연구 목적에 한해 사용 가능하며, 상용 환경 적용 시 법적 제약이 있을 수 있다.

실용적 활용

RuleTrek은 세금 계산, 사이버보안 정책 준수, 소프트웨어 정책 적용 등 규칙 기반 결정이 필요한 산업 분야에서 LLM 에이전트의 성능을 평가하는 데 활용될 수 있다. 또한, 규칙 문서가 복잡하고 분산된 환경에서 규칙 추론 능력을 향상시키기 위한 연구 개발에도 기초 자료로 사용될 수 있다.