TUA-Bench: A Benchmark for General-Purpose Terminal-Use Agents

As large language models and harness frameworks continue to advance, agents operating in terminals are increasingly capable of performing a broader range of general computer-use tasks beyond coding. However, existing benchmarks do not adequately evaluate general-purpose terminal computer-use agents (TUAs): general computer-use benchmarks primarily target graphical user interfaces (GUIs), whereas terminal-based benchmarks largely emphasize technical and programming-centric workflows historically native to the shell. We introduce TUA-Bench, a general-purpose benchmark for terminal-use agents. TUA-Bench includes 120 real-world tasks across five task families, covering routine digital activities-including document editing, email management, and live-web information seeking-as well as scientific and engineering workflows co-designed with PhD-level domain experts that require specialized software. This breadth distinguishes TUA-Bench from prior shell-focused or domain-specific benchmarks. Each task is manually designed, runs in a real terminal with a deterministic setup script, and is evaluated by an execution-based scoring protocol. We find that the strongest frontier agent, Claude Code with Claude Opus 4.8 max reasoning effort, achieves 65.8% overall performance, with substantial gaps across both tracks. By providing a broad and realistic evaluation of terminal-use capabilities, TUA-Bench aims to accelerate the transition from narrow, task-specific assistants to general-purpose agents capable of operating reliably across diverse digital environments.

한 줄 요약

TUA-Bench는 120개의 실제 작업을 포함한 터미널 기반 일반 컴퓨터 사용 에이전트 평가 벤치마크로, Claude Code + Claude Opus 4.8 max 설정에서 65.8% 성공률을 기록했다.

핵심 기여도

TUA-Bench는 120개의 실제 작업을 포함하며, 5개의 작업 범주로 구성된 일반 터미널 사용 에이전트 평가 벤치마크이다.
각 작업은 결정론적 설정 스크립트와 실행 기반 평가 프로토콜을 통해 평가된다.
Claude Code + Claude Opus 4.8 max reasoning effort 설정에서 65.8%의 전체 성공률을 달성했으며, 이는 기존 터미널 중심 또는 도메인 특정 벤치마크와 비교해 훨씬 넓은 범위를 평가한다.
394개의 후보 작업 중 120개를 엄격한 큐레이션 과정을 통해 선정하여 작업의 질과 난이도를 보장한다.

핵심 아이디어

기존의 컴퓨터 사용 평가가 주로 GUI 기반 또는 터미널 중심의 프로그래밍 작업에 집중한 반면, TUA-Bench는 터미널 기반의 일반 컴퓨터 사용 에이전트를 평가하는 데 초점을 맞춘다. 터미널 인터페이스는 명령어가 명시적이고, 피드백이 텍스트 기반으로 제공되며, 복잡한 작업은 스크립트, 파이프, 전용 프로그램을 통해 조합할 수 있어 LLM의 강점을 잘 활용할 수 있다. 따라서 TUA-Bench는 터미널 기반 작업에서 에이전트의 계획, 도구 사용, 실행 모니터링, 오류 복구 능력을 종합적으로 평가하는 데 목적이 있다.

TUA-Bench는 문서 편집, 이메일 관리, 실시간 웹 정보 검색 등 일상적인 디지털 작업과, 생물학, 의학 물리학, 건축 공학, 기계 공학 분야의 전문가들과 공동 설계한 과학 및 엔지니어링 작업을 포함한다. 이러한 다각적인 작업 범주는 기존 터미널 중심 또는 도메인 특정 벤치마크와 구별된다.

기술적 접근법

TUA-Bench는 120개의 작업을 포함하며, 각 작업은 수동으로 설계되고 실제 터미널에서 실행되며, 결정론적 설정 스크립트를 통해 실행 환경을 구성한다. 평가는 실행 기반 점수 프로토콜을 통해 이루어진다.

**작업 큐레이션**: 394개의 후보 작업 중, 모호한 지침, 너무 간단한 해결책, 입력 파일과 출력 간 불일치가 있는 작업은 필터링 또는 수정되었다.
**평가 설정**: 각 작업은 표준화된 형식으로 명시되며, 실행 환경과 검증 절차가 함께 제공된다.
**실험 설정**: Claude Code + Claude Opus 4.8 max reasoning effort 설정에서 65.8%의 성공률을 기록했으며, Terminus-2 + GPT-5.5는 시간 제한이 2400초일 때 60.1%의 성공률을 달성했다.

주요 결과

**Claude Code + Claude Opus 4.8 max reasoning effort**: 65.8% 성공률 (전체 평균)
**Terminus-2 + GPT-5.5 (xhigh)**: 시간 제한 2400초에서 60.1% 성공률
**Terminus-2 + Claude Opus 4.7**: $54/run에서 약 50–57% 성공률
**MiniMax-M3**: $12/run에서 약 47% 성공률
**GLM-5.1**: $23/run에서 약 48% 성공률

의의 및 한계

TUA-Bench는 터미널 기반의 일반 컴퓨터 사용 에이전트 평가를 위한 첫 번째 벤치마크로, GUI 기반 평가와 달리 터미널에서의 계획, 도구 사용, 실행 모니터링, 오류 복구 능력을 종합적으로 평가할 수 있다. 이는 터미널 기반 에이전트의 발전을 촉진하고, 다양한 디지털 환경에서 신뢰성 있게 작동하는 일반 목적 에이전트로의 전환을 목표로 한다.

한계점으로는, 일부 작업 범주(예: Office, Multimedia)에서 성능이 낮아(45% 이하), 터미널 기반 에이전트의 한계가 여전히 존재함을 보여준다. 또한, 모델 성능은 사용하는 에이전트 프레임워크에 따라 크게 달라질 수 있어, 단일 프레임워크에서의 평가 결과는 모델 간 비교에 제한적일 수 있다.

실용적 활용

TUA-Bench는 소프트웨어 엔지니어링, 데이터 분석, 과학 컴퓨팅, 시스템 관리, 멀티미디어 처리 등 전문 작업 환경에서 터미널 기반 에이전트의 신뢰성과 효율성을 평가하는 데 활용될 수 있다. 또한, 터미널 인터페이스가 점점 더 다양한 소프트웨어 시스템에 확장되고 있는 상황에서, TUA-Bench는 이러한 환경에서 에이전트의 작동 능력을 평가하는 표준 도구로 사용될 수 있다.