GUI vs. CLI: Execution Bottlenecks in Screen-Only and Skill-Mediated Computer-Use Agents

Computer-use agents can execute software tasks through either graphical interfaces or programmatic command interfaces, but existing evaluations confound interaction modality with differences in tasks, initial states, verifiers, and permitted actions. We introduce a matched execution-layer benchmark of 440 desktop tasks across 18 applications and 12 workflow categories, where screen-only GUI agents and skill-mediated CLI agents receive identical goals, states, and final-state verifiers while being restricted to modality-native actions. In this controlled setting, the strongest GUI agent reaches a 59.1% full pass rate, outperforming the strongest original-skill CLI agent at 48.2%; however, verifier-guided skill augmentation raises CLI success to 69.3%, showing that much of the CLI deficit comes from incomplete skill coverage rather than model capability alone. These results suggest that GUI and CLI expose different execution bottlenecks: GUI agents are limited by reliable grounded interaction over long-horizon workflows, whereas CLI agents are limited by the coverage and scalability of their skill interfaces.

한 줄 요약

GUI와 CLI 에이전트의 실행 한계를 동일 조건에서 비교한 벤치마크를 제시한다.

핵심 기여도

440개의 데스크탑 작업을 포함한 18개 애플리케이션, 12개 워크플로우 범주로 구성된 일치된 실행 레이어 벤치마크를 제시.
GUI 에이전트 최고 성능 59.1% full pass rate, CLI 에이전트 최고 성능 48.2%로 GUI가 상대적으로 우수.
CLI 에이전트의 성능은 스킬 증강을 통해 69.3%로 향상됨.
GUI는 장기 워크플로우에서의 신뢰성, CLI는 스킬 커버리지와 확장성에서 한계를 보임.

핵심 아이디어

GUI와 CLI 에이전트는 서로 다른 실행 방식을 가지지만, 기존 연구는 작업, 초기 상태, 검증기, 허용 동작 등이 달라지면서 비교가 어려웠다. 본 연구는 동일 목표, 상태, 검증기 조건에서 GUI와 CLI 에이전트의 실행 성능을 비교함으로써, 각 모달리티의 고유한 한계를 분리해 분석한다. 특히 CLI 에이전트의 스킬 기반 실행에서 스킬 커버리지가 성능에 큰 영향을 미친다는 점을 밝혔다.

기술적 접근법

440개의 데스크탑 작업을 18개 애플리케이션, 12개 워크플로우 범주로 구성한 벤치마크 사용.
GUI 에이전트는 화면 기반 상호작용만 허용, CLI 에이전트는 스킬 기반 명령어만 허용.
모든 에이전트는 동일한 목표, 초기 상태, 최종 상태 검증기를 사용.
CLI 에이전트는 검증기 기반 스킬 증강 기법을 적용하여 성능 향상 평가.

주요 결과

GUI 에이전트 최고 성능: 59.1% full pass rate (CLI 최고 48.2% 대비 +10.9%).
CLI 에이전트는 스킬 증강 후 69.3% 성능 달성 (기존 CLI 대비 +21.1%).
CLI 성능 저하 주요 원인은 모델 능력보다 스킬 커버리지의 한계로 판단됨.

의의 및 한계

본 연구는 GUI와 CLI 에이전트의 실행 한계를 분리하여 비교하는 첫 시도로, 각 모달리티의 핵심 문제를 명확히 규명하였다. GUI는 장기 워크플로우에서의 신뢰성, CLI는 스킬 커버리지와 확장성 문제를 드러냈다. 그러나 벤치마크는 데스크탑 환경에 국한되며, 모바일 또는 웹 환경으로의 확장 가능성은 명시되지 않음.

실용적 활용

본 연구는 GUI와 CLI 기반 자동화 시스템의 설계 및 개선에 기초 자료를 제공할 수 있다. 특히 CLI 기반 에이전트는 스킬 기반 인터페이스의 확장과 최적화를 통해 실용성 향상이 기대된다.