LEASH: Uncertainty-Aware Weak-to-Strong Escalation and Oversight for Computer-Use Agents

Computer-use agents increasingly tackle long-horizon tasks, where running a frontier model at every step is expensive and a small open-weight model alone often fails. Weak-to-strong escalation offers a middle ground where a weak agent acts by default and hands control to a strong one only when needed. The core challenge is deciding when to escalate, which requires an uncertainty signal cheap enough to check at every step. However, even after handoff, the strong agent can still get lost, but a black-box API that the strong agent is usually served exposes no internals to monitor. To this end, we propose LEASH, a training-free framework that unleashes the strong agent only when the weak agent's latent uncertainty signals it is needed, and keeps it on a leash afterward. LEASH has three layers: (1) initial task uncertainty for early routing, (2) step-level uncertainty for runtime escalation, and, after handoff, (3) a shadow observer for continued oversight of the strong black-box agent. Here, we use latent uncertainty as a fuel for all three layers. Specifically, we compare the weak model's hidden states with those from its past successful and failed trajectories, and a state that looks more like the failures signals higher uncertainty. During weak-agent execution, our uncertainty estimator reuses activations already produced during action generation, so it needs no extra forward pass or dedicated monitor training. Experiments on OSWorld across four contemporary model backbones show that LEASH consistently improves over standalone weak agents and outperforms random escalation by 6.55--11.94 points at matched escalation rates. With Qwen3.5-35B-A3B, LEASH achieves 73.66% task success at $0.4117 per task, matching always-on Claude Opus 5 (72.90%) while reducing inference cost by 19.2%.

한 줄 요약

LEASH는 Qwen3.5-35B-A3B와 Claude Opus 5를 사용해 73.66%의 작업 성공률을 달성하며, 추론 비용을 19.2% 절감하는 비학습형 확률 인식 에이전트 프레임워크이다.

핵심 기여도

LEASH는 초기 라우팅, 런타임 에스컬레이션, 핸드오프 후 모니터링의 세 단계를 **latent uncertainty**로 통합한 **training-free** 프레임워크이다.
**Mahalanobis 거리**를 사용해 약한 에이전트의 성공/실패 경로의 히든 상태를 비교해 **확률 점수를 계산**한다.
OSWorld에서 Qwen3.5-35B-A3B를 사용할 때, **73.66%의 작업 성공률**을 달성하며 Claude Opus 5와 동일한 성능을 보인다.
**6.55–11.94 포인트** 높은 성능을 보이며 랜덤 에스컬레이션을 초과한다.

핵심 아이디어

LEASH는 약한 에이전트의 히든 상태에서 추출한 **latent uncertainty**를 기반으로, 에스컬레이션과 모니터링을 동시에 수행하는 프레임워크이다. 기존 연구는 에스컬레이션 시점을 결정하기 위해 별도의 모니터 에이전트나 학습 모듈을 사용했지만, LEASH는 약한 에이전트의 **과거 성공/실패 경로의 히든 상태**를 비교해 확률을 추정한다. 이는 추가적인 학습이나 모델 실행 없이 가능하다.

핵심 아이디어는 **Mahalanobis 거리**를 사용해 현재 상태가 과거 실패 경로에 더 가까울수록 **높은 확률**을 부여하는 것이다. 이는 약한 에이전트의 자체 경험만으로 가능하며, 외부 데이터셋이나 학습 없이도 확률 추정이 가능하다는 점에서 혁신적이다.

기술적 접근법

**LEASH는 세 단계로 구성**된다:

1. **Initial Task Uncertainty**: 작업 시작 시 라우팅 결정.
2. **Step-Level Uncertainty**: 실행 중 런타임 에스컬레이션 결정.
3. **Shadow Observer**: 핸드오프 후 강한 에이전트의 경로를 3단계마다 모니터링.

**Mahalanobis 거리**를 사용해 히든 상태와 과거 성공/실패 경로 간의 유사도를 계산.
확률 추정은 약한 에이전트의 **기존 활성화 값**을 재사용하므로, 추가적인 forward pass나 모델 학습이 필요 없다.
**Qwen3.5-35B-A3B, EvoCUA-8B, Nemotron-3-Nano-Omni, Qwen3.8-27B** 등 4개의 약한 에이전트와 **Claude Opus 5**를 사용해 실험.

주요 결과

**OSWorld**에서 LEASH는 랜덤 에스컬레이션 대비 **6.55–11.94 포인트** 높은 성능을 보인다.
Qwen3.5-35B-A3B를 사용할 때, **73.66%의 작업 성공률**을 달성하며 Claude Opus 5 (72.90%)와 동일한 성능을 보인다.
**추론 비용은 19.2% 절감**하며, 랜덤 에스컬레이션 대비 **75–102%의 성능 격차를 회복**한다.
**69–81%의 Claude Opus 5 비용**으로 동일한 성능을 달성.

의의 및 한계

LEASH는 **training-free**이며, 약한 에이전트의 자체 경험만으로 확률을 추정하므로, 학습 비용이나 외부 모델 의존 없이도 에스컬레이션과 모니터링을 수행할 수 있다. 이는 장기적 작업 환경에서 **비용 효율성과 유연성**을 동시에 확보하는 데 기여한다. 또한, 강한 에이전트가 블랙박스일 경우에도 모니터링이 가능하다는 점에서 실용적 가치가 있다.

하지만, LEASH는 **약한 에이전트의 과거 경험에 의존**하므로, 경험 데이터가 부족하거나 편향된 경우 확률 추정이 부정확할 수 있다. 또한, **강한 에이전트의 내부 상태에 대한 정보가 없기 때문에**, 모니터링의 정확도는 제한될 수 있다.

실용적 활용

LEASH는 **비용 효율적인 에이전트 시스템** 구축에 적합하며, 특히 **그래픽 인터페이스 자동화, 장기적 작업 처리, 클라우드 기반 서비스** 등에서 활용 가능하다. **Qwen3.5-35B-A3B와 Claude Opus 5**와 같은 대형 모델을 활용해, **높은 성능과 낮은 비용**을 동시에 달성할 수 있는 방식으로, 실제 산업 현장에서 즉각적으로 적용 가능하다.