Agentic Abstention: Do Agents Know When to Stop Instead of Act?

LLM agents are expected to act over multiple turns, using search, browsing interfaces, and terminal tools to complete user goals. Yet not every goal is well specified or achievable in the available environment. In such cases, a reliable agent should recognize that further interaction is unlikely to help and abstain from additional tool calls. We define Agentic Abstention, the problem of deciding when an agent should stop acting under uncertainty. Unlike standard LLM abstention, which is usually evaluated as a single-turn answer-or-abstain decision, agentic abstention is a sequential decision problem: an agent can answer, abstain, or gather more information at each turn, and the need to abstain may only become clear after interacting with the environment. We study this problem across web shopping, terminal environments, and question answering, evaluating 13 LLM-as-agent systems and 2 agent scaffolds on more than 28,000 tasks. Our results show that the main challenge is not only whether agents can abstain, but also when they abstain. Some agents never abstain when they should, while others do so only after many unnecessary interactions. This gap is especially large on tasks where the instruction appears feasible until the environment reveals otherwise (e.g., no valid result matches the instruction). We further find that model scale, reasoning, and agent scaffolding affect abstention in different ways, where larger or more capable models sometimes perform worse at timely abstention. Finally, we introduce CONVOLVE, a context engineering method for improving agentic abstention that distills full interaction trajectories into reusable stopping rules. On WebShop, CONVOLVE substantially improves timely abstention without updating model parameters, raising Llama-3.3-70B's timely recall rate from 26.7 to 57.4. Our dataset and code are available at https://lhannnn.github.io/agentic-abstention

한 줄 요약

LLM 에이전트가 언제 중단해야 하는지 결정하는 문제인 Agentic Abstention을 정의하고, CONVOLVE라는 컨텍스트 엔지니어링 방법으로 성능을 57.4%까지 향상시켰다.

핵심 기여도

Agentic Abstention 문제를 정의: 에이전트가 여러 턴에서 중단 결정을 내리는 순차적 문제로 정식화.
28,000개의 태스크로 구성된 벤치마크 생성 (WebShop, Terminal-Bench 2.0, AbstentionBench 기반).
13개 LLM-as-Agent 시스템과 2개 에이전트 프레임워크 평가.
CONVOLVE 도입: Llama-3.3-70B의 WebShop에서 timely recall 26.7% → 57.4% 향상.

핵심 아이디어

기존 LLM abstention은 단일 턴에서 답변하거나 중단하는 이진 결정 문제였다. 그러나 에이전트는 여러 턴에서 정보를 수집하거나 중단을 선택할 수 있어, 이는 순차적 결정 문제로 재정의되어야 한다. Agentic Abstention은 환경과 상호작용하면서 언제 중단해야 하는지를 판단하는 문제로, 특히 환경 기반 중단(예: 환경에서 조건이 불가능해질 때)이 어려운 경우가 많다. 이는 기존 QA에서의 중단과 구조적으로 다르며, 에이전트의 컨텍스트가 시간에 따라 변화하기 때문에, 중단 시점을 판단하는 것이 복잡해진다.

기술적 접근법

**Agentic Abstention**: 순차적 결정 문제로 정의. 에이전트는 각 턴에서 답변, 중단, 추가 행동 중 선택.
**AbsRec@K**: 중단이 필요한 최초 시점에서의 정확도를 측정. 예: AbsRec@1 (초기 중단), AbsRec@2 (환경 반응 후 중단), AbsRec@10 (최대 10턴 내 중단).
**CONVOLVE**: 전체 상호작용 경로를 분석해 재사용 가능한 중단 규칙을 추출. 모델 파라미터 업데이트 없이 컨텍스트에 추가.
**데이터셋**: WebShop, Terminal-Bench 2.0, AbstentionBench 기반으로 28,000개 태스크 구성.
**평가 모델**: GPT-5.4, Llama-3.3-70B 등 13개 LLM-as-Agent 시스템과 Terminus 2, Codex CLI 2개 에이전트 프레임워크.

주요 결과

**WebShop**: Llama-3.3-70B의 timely recall 26.7% → CONVOLVE 적용 후 57.4% 향상.
**Terminal-Bench 2.0**: 최고 성능 모델의 timely recall 21.6%.
**QA**: false premise나 underspecified intent 문제에서 timely recall 50% 이하.
**모델 규모**: 더 큰 모델이 항상 더 빠르게 중단하지 않음.
**에이전트 프레임워크**: Terminus 2와 Codex CLI가 중단 판단에 큰 영향을 미침.

의의 및 한계

Agentic Abstention은 에이전트의 신뢰성을 높이기 위해 필수적인 판단 능력으로, 기존 연구에서는 다루어지지 않았던 중요한 문제이다. CONVOLVE는 모델 파라미터 업데이트 없이 컨텍스트만 변경해 성능을 향상시킬 수 있어 실용적이다. 그러나 일부 환경에서는 여전히 지나치게 늦거나 아예 중단하지 않는 문제가 있으며, 특히 초기에는 태스크가 가능해 보이지만 환경과 상호작용 후 불가능함이 드러나는 경우가 가장 어려운 것으로 나타났다.

실용적 활용

WebShop과 Terminal-Bench 2.0과 같은 실제 웹 및 터미널 환경에서 에이전트가 불필요한 작업을 줄이고 효율적으로 중단할 수 있도록 도와준다. QA 시스템에서도 false premise나 모호한 질문에 대해 중단 판단을 개선할 수 있어, 대화형 AI의 신뢰도를 높이는 데 활용 가능하다.