Progressive Autonomy as Preference Learning: A Formalization of Trust Calibration for Agentic Tool Use

Changkun Ou

arXiv:2605.19151 · 2026-05-20 공개 · arXiv · PDF

bayesian-optimization preference-learning gaussian-process risk-tolerance policy-gateway probabilistic-modeling trust-calibration agentic-tool-use

Abstract

We formalize trust calibration for agentic tool use (deciding when an automated agent's proposed action may execute autonomously versus require human approval) as a preference-learning problem. A policy gateway maintains a Gaussian-process posterior over a latent human risk-tolerance function, observed through a probit likelihood on binary approve/deny feedback, and escalates to the human exactly where the approval outcome is most uncertain. We show this is structurally an instance of Preferential Bayesian Optimization, inheriting its inference machinery (approximate Gaussian-process classification) and its sample-efficiency argument (uncertainty-targeted querying), while differing in objective: classifying an action space into allow/block/ask regions rather than optimizing a design.

한국어 요약

한 줄 요약

**[에이전트 안전 / 선호 학습]** 자동 에이전트의 도구 사용 신뢰 보정을 잠재 인간 risk-tolerance에 대한 GP 베이지안 선호 학습 문제로 형식화하고, 불확실성이 가장 큰 곳에서만 사람에게 escalate하는 게이트웨이 제시.

핵심 기여도

핵심 아이디어

에이전트의 자율성은 "전부 자율" 또는 "전부 사람 승인"의 양극이 아니라, 행동 공간을 인간의 위험 허용도에 따라 세 영역으로 분할하고 그 경계의 불확실성이 큰 곳에만 사람을 호출하는 적응적 보정 문제다.

기술적 접근법

주요 결과

의의 및 한계

**의의**: 신뢰 보정을 "ad-hoc 룰" 수준에서 PBO라는 잘 연구된 알고리즘 클래스로 환원해 이론적 기반과 도구를 동시에 확보. **한계**: GP 가정과 probit likelihood는 인간 피드백 잡음 구조가 단순할 때 유효, 적대적 사용자·매우 비정상적 위험 허용도에서는 추가 모델링 필요.

실용적 활용