Can LLM Agents Stick to the Script? A Benchmark for Long-Horizon Consistency in Interactive Narratives

The rapid advancement of Large Language Models (LLMs) is revolutionizing AI for Games by enabling open-ended and fluid interactive storytelling. However, existing research has largely overlooked the critical challenge of maintaining long-horizon logical consistency and narrative integrity against unconstrained user interventions. To address this, we formulate this challenge as Narrative Commitment Preservation (NCP), and take interactive narrative as our testbed. We introduce NCP-Bench, a benchmark of 100 narrative environments derived from movie synopses. Each environment includes a structured narrative specification (trajectory, commitments, and initial facts) that we can automatically check throughout the interaction between the player agent and the narrator agent. Experiments across state-of-the-art LLMs reveal a substantial long-horizon consistency gap: high linguistic quality does not guarantee commitment preservation; even strong models frequently generate logically conflicting content under adversarial interventions, with the best-performing model (GPT-5.2) achieving only 42% survival rate after 20 turns and fact conflict rates ranging from 40% to 68% across models, and only isolated runs satisfying all achievement commitments within the 100-turn limit.

한 줄 요약

LLM 에이전트가 장기적 스토리 일관성을 유지하는지 평가하는 NCP-Bench 벤치마크를 제안하며, GPT-5.2 포함 주요 모델이 40~68%의 사실 충돌률을 보임.

핵심 기여도

**NCP (Narrative Commitment Preservation)** 문제를 정의하고, 이를 평가하는 **NCP-Bench** 벤치마크를 제시.
100개의 영화 시놉시스 기반 **구조화된 스토리 스펙** (트래젝토리, 커밋먼트, 초기 사실)을 포함.
GPT-5.2가 20턴 후 **42% 생존률**, **40~68% 사실 충돌률**로 장기 일관성 부족 문제를 드러냄.
**자동 검증 프로토콜**을 통해 에이전트의 커밋먼트 준수 여부를 체계적으로 평가.

핵심 아이디어

기존 LLM 기반 인터랙티브 스토리텔링은 유저의 자유로운 개입에 대응하면서도 **장기적 스토리 일관성**(long-horizon consistency)을 유지하는 데 실패한다. 이는 **NCP (Narrative Commitment Preservation)** 문제로 정의되며, 이는 단순한 언어 유창성보다 **논리적 스토리 커밋먼트**(예: "문은 잠겨 있다")를 지속적으로 유지하는 능력이 필요하다는 점에서 핵심적 차이를 가진다.

NCP-Bench는 **구조화된 스토리 스펙**(trajectory, commitments, initial facts)을 통해 에이전트의 응답이 일관성을 유지하는지 **자동 검증**한다. 이는 **Fact Ledger**와 **Commitment Set**을 명시적으로 유지하고, 각 턴에서 **자동 추출 및 검증** 과정을 거쳐 일관성 유지를 평가한다. 이는 기존의 주관적 평가(예: 유저 선호도)와 달리 **객관적이고 재현 가능한 실험 프레임워크**를 제공한다.

기술적 접근법

**NCP-Bench**는 100개의 영화 시놉시스 기반 **인터랙티브 스토리 환경**을 포함.
각 환경은 **3단계 프레임워크**로 구성됨: (1) **Reference Trajectory Extraction**, (2) **Commitment Extraction**, (3) **Initial Fact Extraction**.
평가 프로토콜은 **Prompt-Fixed Evaluation Components**로 구성되어, 에이전트의 응답이 **Fact Ledger**와 **Commitment Set**과 일치하는지 자동으로 검증.
실험은 **6개의 최신 LLM** (GPT-5.2 포함)을 대상으로 수행.
**Algorithm 1**에 따라 **4단계 평가 절차**를 통해 각 턴의 일관성을 체계적으로 평가.

주요 결과

GPT-5.2가 20턴 후 **42% 생존률**을 기록.
**40~68%의 사실 충돌률**로, 대부분의 모델이 장기적 일관성 유지에 실패.
**100턴 내 모든 커밋먼트를 만족하는 경우는 단일 실행에 불과**.
**Trajectory Progress**와 **Satisfied Commitments** 지표를 통해 에이전트의 스토리 진행도와 커밋먼트 준수율을 측정.

의의 및 한계

NCP-Bench는 **인터랙티브 스토리텔링 에이전트의 장기적 일관성**을 객관적으로 평가할 수 있는 **첫 번째 벤치마크**로, AI for Games 분야에서 중요한 기초 자료가 될 수 있다. 또한, 이 프레임워크는 **다이얼로그 시스템, 계획 에이전트, 멀티에이전트 협업** 등에서도 적용 가능하다는 점에서 학술적 가치가 있다.

하지만, NCP-Bench는 **영화 시놉시스 기반**으로 구성되어 실제 게임 환경과의 차이가 있을 수 있으며, **유저의 창의적 개입**을 완전히 반영하지 못한다는 한계가 있다. 또한, **LLM의 내재적 제약**(예: 세계 모델의 불완전성)이 일관성 실패의 주요 원인으로 작용하므로, 이를 해결하기 위한 새로운 학습 전략이 필요하다.

실용적 활용

NCP-Bench는 게임 개발자들이 **신뢰성 있는 스토리텔링 에이전트**를 설계할 때 **필수적인 일관성 평가 기준**으로 활용될 수 있다. 또한, **대화형 AI**, **교육용 인터랙티브 시스템**, **멀티에이전트 협업 플랫폼** 등에서도 **의도된 커밋먼트를 유지하는 능력**을 평가하는 데 사용될 수 있다.