한 줄 요약
**[에이전트 안전 / 선호 학습]** 자동 에이전트의 도구 사용 신뢰 보정을 잠재 인간 risk-tolerance에 대한 GP 베이지안 선호 학습 문제로 형식화하고, 불확실성이 가장 큰 곳에서만 사람에게 escalate하는 게이트웨이 제시.
핵심 기여도
- "에이전트가 제안한 행동을 자율 실행할지, 인간 승인을 받을지" 결정하는 신뢰 보정 문제를 점진적 자율성 부여(progressive autonomy)의 선호 학습 문제로 명시적 형식화.
- 정책 게이트웨이가 인간의 잠재 risk-tolerance 함수에 대한 Gaussian process posterior를 유지하고, 이진 approve/deny 피드백을 probit likelihood로 통합하는 추론 구조 제안.
- 결과적으로 Preferential Bayesian Optimization의 구조적 사례임을 보이고, 그 추론 기계(근사 GP classification)와 sample-efficiency 논증을 그대로 상속.
- 단, 목적이 설계 최적화가 아니라 "행동 공간을 allow/block/ask 영역으로 분류"하는 데 있다는 차이를 명확히 함.
핵심 아이디어
에이전트의 자율성은 "전부 자율" 또는 "전부 사람 승인"의 양극이 아니라, 행동 공간을 인간의 위험 허용도에 따라 세 영역으로 분할하고 그 경계의 불확실성이 큰 곳에만 사람을 호출하는 적응적 보정 문제다.
기술적 접근법
- **모델/방법론**: 정책 게이트웨이 위에 GP posterior + probit likelihood 기반 선호 학습.
- **핵심 기법**: 잠재 risk-tolerance 함수에 GP 사전, 이진 승인 신호로 probit likelihood update, 승인 결과 불확실성이 최대인 곳에서 escalation, 학습 곡선이 PBO sample-efficiency 보장을 상속.
주요 결과
- 행동 공간 위에서 allow/block/ask 영역 분류기를 학습하는 알고리즘 제시.
- PBO 기반 sample efficiency 보장을 그대로 활용해 적은 인간 피드백으로 영역 경계 식별 가능.
- 본문은 형식화·이론적 정렬 중심이며, 실험 디테일은 본문 참조.
의의 및 한계
**의의**: 신뢰 보정을 "ad-hoc 룰" 수준에서 PBO라는 잘 연구된 알고리즘 클래스로 환원해 이론적 기반과 도구를 동시에 확보. **한계**: GP 가정과 probit likelihood는 인간 피드백 잡음 구조가 단순할 때 유효, 적대적 사용자·매우 비정상적 위험 허용도에서는 추가 모델링 필요.
실용적 활용
- 코드·금융·고권한 도구 호출 에이전트의 점진적 자율성 부여.
- HITL(Human-in-the-loop) 시스템의 escalation 정책 최적화.
- 기업 환경의 사용자별 정책 학습 게이트웨이.