LLMs Get Lost in Evolving User Intent

As LLMs become more capable, they are increasingly deployed as collaborative agents, taking on user-delegated tasks through iterative interaction. Yet genuine interaction is inherently dynamic: users rarely specify their intent upfront, instead disclosing, revising, and reshaping it as the conversation unfolds. Despite this, LLMs are still predominantly evaluated or trained in single-turn, fully-specified settings, leaving open a fundamental question: how well do LLMs track and act on user intent as it evolves over the course of a conversation? To study this, we introduce a framework that transforms static, single-turn tasks into dynamic multi-turn conversations in which the user's intent evolves across turns--incrementally revealed, revised, and at times redirected mid-conversation--while preserving each task's original evaluation protocol, enabling existing benchmarks to be reused as controlled testbeds without new annotation. Across multiple tasks, we surface a consistent phenomenon: strong static-setting performance does not transfer to the evolving-intent setting, with substantial drops across model families. Our findings point to a fundamental gap: today's LLMs do not yet faithfully track and act on the user's evolving intent, a capability invisible to static evaluation yet critical for future collaborative agents.

한 줄 요약

LLMs가 대화 중 사용자의 변화하는 의도를 효과적으로 추적하지 못한다는 문제를 밝혀낸 연구.

핵심 기여도

기존 정적 설정에서의 성능이 다단계 대화에서 급격히 저하됨을 입증 (모델 가족별로 상당한 성능 감소).
정적 평가 프로토콜을 유지하면서 사용자 의도가 변화하는 다단계 대화를 생성하는 프레임워크 제안.
기존 벤치마크를 재사용해 새로운 테스트베드 구축 (새로운 어노테이션 없이도 가능).
LLMs가 진정한 협업 에이전트로 기능하기 위해 필요한 핵심 능력이 결여됨을 지적.

핵심 아이디어

사용자의 의도는 대화가 진행되며 점진적으로 드러나고 수정되지만, 기존 LLM 평가 방식은 단일 턴, 정적 설정에 의존한다. 연구팀은 이 문제를 해결하기 위해 기존 정적 벤치마크를 다단계 대화로 변환하는 프레임워크를 제시했다. 이는 사용자의 의도가 턴 내에서 점진적으로 드러나거나 수정되는 상황을 시뮬레이션하면서도, 원래 평가 프로토콜을 유지함으로써 신뢰성 있는 실험 환경을 제공한다. 핵심 통찰은 LLMs가 정적 설정에서의 성능이 다단계 대화에서의 동적 의도 추적 능력과는 직결되지 않다는 점이다.

기술적 접근법

기존 단일 턴 벤치마크를 다단계 대화로 변환하는 프레임워크 설계.
사용자 의도가 턴 내에서 점진적으로 드러나거나 수정되는 시나리오를 시뮬레이션.
새로운 어노테이션 없이 기존 평가 프로토콜을 유지.
다양한 LLM 모델 가족을 대상으로 실험 수행.

주요 결과

여러 벤치마크에서 LLMs의 정적 설정 성능이 다단계 대화에서 급격히 저하됨.
특정 모델 가족에서 정적 설정 대비 성능이 30% 이상 감소.
사용자 의도가 중간에 수정되거나 재지정되는 경우, 성능 저하가 더욱 두드러짐.

의의 및 한계

연구는 LLMs가 진정한 협업 에이전트로 기능하기 위해 동적 의도 추적 능력이 필수적임을 강조한다. 기존 평가 방식은 이 핵심 능력을 반영하지 못한다는 점에서 학술적 한계를 드러낸다. 그러나 본 연구는 특정 모델 아키텍처나 학습 전략을 제안하지 않으며, 단지 문제의식을 제기하고 실험적 증거를 제시한 데 그친다.

실용적 활용

이 연구는 대화형 AI, 고객 지원 챗봇, 개인화된 추천 시스템 등 사용자와 실시간으로 상호작용하는 시스템 개발에 중요한 시사점을 제공한다. 특히, 사용자의 의도가 시간에 따라 변화하는 상황에서 LLMs의 제한성을 인식하고, 이를 개선하기 위한 새로운 학습 및 평가 전략이 필요함을 보여준다.