OmniACT: A Dataset and Benchmark for Enabling Multimodal Generalist Autonomous Agents for Desktop and Web

For decades, human-computer interaction has fundamentally been manual. Even today, almost all productive work done on the computer necessitates human input at every step. Autonomous virtual agents represent an exciting step in automating many of these menial tasks. Virtual agents would empower users with limited technical proficiency to harness the full possibilities of computer systems. They could also enable the efficient streamlining of numerous computer tasks, ranging from calendar management to complex travel bookings, with minimal human intervention. In this paper, we introduce OmniACT, the first-of-a-kind dataset and benchmark for assessing an agent's capability to generate executable programs to accomplish computer tasks. Our scope extends beyond traditional web automation, covering a diverse range of desktop applications. The dataset consists of fundamental tasks such as"Play the next song", as well as longer horizon tasks such as"Send an email to John Doe mentioning the time and place to meet". Specifically, given a pair of screen image and a visually-grounded natural language task, the goal is to generate a script capable of fully executing the task. We run several strong baseline language model agents on our benchmark. The strongest baseline, GPT-4, performs the best on our benchmark However, its performance level still reaches only 15% of the human proficiency in generating executable scripts capable of completing the task, demonstrating the challenge of our task for conventional web agents. Our benchmark provides a platform to measure and evaluate the progress of language model agents in automating computer tasks and motivates future work towards building multimodal models that bridge large language models and the visual grounding of computer screens.

한 줄 요약

OmniACT는 데스크톱 및 웹 환경에서 멀티모달 자율 에이전트를 평가하는 첫 번째 데이터셋과 벤치마크로, GPT-4조차 인간 수준의 15%에 불과한 성능을 보인다.

핵심 기여도

9.8K개의 데스크톱 및 웹 애플리케이션 화면 이미지와 자연어 작업, 코드 스니펫으로 구성된 OmniACT 데이터셋을 공개.
DetACT 모듈을 제안, OCR, 색상, 아이콘 템플릿 매칭을 활용해 화면의 텍스트 표현을 생성.
GPT-4, LLaMA, Vicuna, LLaVa 등 다양한 LLM 및 멀티모달 모델을 벤치마크하여 GPT-4-vision이 Action Score에서 GPT-4 대비 향상됨을 보임.
기존 HTML 기반 에이전트의 한계를 지적하며, 시각 정보를 통합한 멀티모달 모델의 필요성을 강조.

핵심 아이디어

기존 자율 에이전트는 주로 웹 기반 HTML 정보를 기반으로 동작하지만, 데스크톱 애플리케이션과 복합 작업을 처리하는 데 한계가 있다. OmniACT는 이러한 문제를 해결하기 위해 시각 정보(화면 이미지)와 자연어 작업을 결합하여 실행 가능한 스크립트를 생성하는 새로운 태스크를 정의한다. 이는 PyAutoGUI 라이브러리를 통해 마우스와 키보드 동작을 자동화하는 것을 목표로 한다. 핵심 아이디어는 시각적 UI 요소를 이해하고, 이를 기반으로 정확한 액션 시퀀스를 생성하는 멀티모달 모델의 필요성을 강조하는 것이다. DetACT 모듈은 OCR, 색상, 아이콘 매칭을 통해 화면 정보를 텍스트로 변환하여 모델이 이해할 수 있도록 지원한다.

기술적 접근법

**데이터셋 구성**: 9.8K개의 화면 이미지-자연어 작업 쌍, PyAutoGUI 스크립트 포함.
**평가 지표**: Sequence Score와 Action Score를 제안. Action Score는 좌표 예측 정확도에 따라 가중치를 적용.
**기반 모델**: GPT-3.5, GPT-4, LLaMA, Vicuna, CodeLLaMA, LLaVa, GPT-4-vision 등.
**학습 방법**: QLoRA를 활용한 Vicuna-13B와 LLaMA-13B 미세조정.
**실험 결과**: GPT-4는 Sequence Score와 Action Score에서 상대적으로 높은 성능을 보이나, 인간 수준의 15%에 불과. GPT-4-vision은 Action Score에서 GPT-4 대비 향상됨.

주요 결과

GPT-4는 Sequence Score 11.6, Action Score 11.6을 기록.
GPT-4-vision은 Action Score에서 GPT-4 대비 향상됨.
인간 평가자 평균 성능은 Sequence Score 20.5, Action Score 19.3.
GPT-4는 인간 수준 대비 15%에 불과한 성능을 보임.
미세조정된 LLaMA-13B는 Sequence Score 8.92, Action Score 2.14로 향상됨.

의의 및 한계

OmniACT는 데스크톱 및 웹 환경에서 멀티모달 자율 에이전트의 성능을 평가할 수 있는 첫 번째 데이터셋으로, 기존 웹 기반 에이전트의 한계를 드러내며, 시각 정보를 통합한 모델 개발을 촉진한다. 그러나 GPT-4조차 인간 수준의 15%에 불과한 점에서, 시각-언어 통합 능력이 여전히 부족하다는 한계가 드러난다. 또한, 화면 내 좌표 예측 정확도가 낮아 마우스 액션에서 많은 패널티를 받는다는 문제가 있다.

실용적 활용

OmniACT는 기술 능력이 제한된 사용자가 데스크톱 및 웹 작업을 자동화할 수 있도록 지원하는 자율 에이전트 개발에 활용될 수 있다. 특히, 여행 예약, 이메일 작성, 캘린더 관리 등 반복적이고 복잡한 작업을 자동화하는 데 유용하다. 또한, 멀티모달 모델의 발전을 촉진하여, 시각 정보를 기반으로 한 자동화 시스템의 정확도를 높이는 데 기여할 수 있다.