PersonaCUABench: Benchmarking Computer-Use Agents Serving Diverse Personas
Haoming Li, Defu Cao, Xu Hu, Yingtao Luo, Yiyang Wang, Xianghe Xu, Jiashu He, Wanting Jiang, Yifan Zhang, Yunhan Zhao, Siyang Wu, Chen Yang, Haixin Wang, Zheyuan Deng, Taoran Li, Jingwen Zhang, Zhejian Peng, Shushu Liang, Yue Zhao, Bingzhe Li, Feng Chen, Yifan Wang, Jintao Huang, Yijun Wang, Yuexing Hao, Xiaomin Li
arXiv:2610.22990 · 2026-10-30 공개 · arXiv · PDF
task-completion evaluation-metrics computer-use-agents constraint-satisfaction dialogue-based persona-agents user-requirements satisfaction-rating
Abstract
Computer-use agents (CUAs) are commonly evaluated against fixed task specifications, but users may omit requirements, add constraints, or require approval before consequential actions. Completing the benchmark instruction does not guarantee serving the person who asked. We introduce PersonaCUABench, which holds 74 tasks across 11 domains fixed and varies only who asks. A persona agent, playing one of 44 personas in four groups, rewrites each instruction in that user's own words and answers the CUA's questions, while the CUA sees only the dialogue, never the profile or the original instruction. Across nine backbones (3,330 runs), mean task completion falls by 36% relative to the original requests. The losses have two sources: in 59.9% of cells that lose points, the agent engages with what the user asked for and still gets it wrong, and 11.2% are stops the user requested that the checker scores as failures. Even when a persona request is fully completed, the user gives the top satisfaction rating in only 62.7% of cells, against 84.1% for the original requests. CUAs should therefore be evaluated not only on task completion but also on whether they meet the requirements and constraints users express. Code: https://github.com/MatrAIx-ai/PersonaCUABench. Project page: https://matraix.ai/research/persona-cua.html
한국어 요약
한 줄 요약
PersonaCUABench는 다양한 사용자 인격에 따라 컴퓨터 사용 에이전트(CUA)를 평가하는 벤치마크로, 기존 평가 방식의 한계를 드러냅니다.
핵심 기여도
- 11개 도메인, 74개의 고정된 작업을 사용하여 사용자 인격만 변경한 새로운 평가 프레임워크(PersonaCUABench) 제안.
- 9개의 백본 모델에서 평균 작업 완료율이 68.9%에서 44.1%로 36% 감소.
- 작업 실패 원인을 59.9%는 사용자 요구사항을 인지했으나 오류, 11.2%는 사용자가 요청한 중단으로 구분.
- 사용자 만족도는 원본 요청 대비 84.1%에서 62.7%로 떨어짐.
핵심 아이디어
기존 CUA 평가 방식은 고정된 작업 명세에 기반하지만, 실제 사용자는 요구사항을 생략하거나 추가 제약을 가할 수 있다. 이에 따라, 사용자 인격에 따라 동일한 작업이 다르게 해석될 수 있으며, 이는 기존 평가가 반영하지 못하는 문제다. PersonaCUABench는 사용자 인격을 반영한 요청을 생성하는 "persona agent"를 도입하여, CUA가 실제 사용자의 요구를 얼마나 잘 반영하는지를 평가한다. 사용자 프로필은 CUA에게 제공되지 않으며, 요청은 인격에 맞는 대화 형식으로만 전달된다. 이는 CUA가 사용자의 은근한 요구를 파악하고 적절히 대응하는 능력을 평가하는 데 중점을 둔다.
기술적 접근법
- **PersonaCUABench**는 11개 도메인, 74개 작업으로 구성.
- **44개 인격**이 4개 그룹(Expert, Senior, Young, Practical)으로 나뉘어 요청을 생성.
- **Persona agent**는 원본 작업을 인격에 맞게 재구성하고, CUA의 질문에 대답.
- CUA는 대화만 보고 작업 수행.
- **9개 백본 모델** (3,330회 실행)을 사용한 평가.
- 작업 완료율, 사용자 요구사항 충족 여부, 사용자 만족도를 별도로 측정.
주요 결과
- 9개 백본 모델에서 평균 작업 완료율이 68.9%에서 44.1%로 36% 감소.
- 실패 원인 중 59.9%는 사용자 요구사항을 인지했으나 오류, 11.2%는 사용자가 요청한 중단.
- 작업이 완료되더라도 사용자 만족도는 62.7%에 불과 (원본 요청 대비 84.1%).
- GPT-6 Astra에서도 사용자 프로필 공개나 질문 요구가 성능 회복에 효과 없음.
의의 및 한계
PersonaCUABench는 CUA가 단순히 작업을 완료하는 것 이상으로, 사용자의 요구와 제약을 얼마나 잘 반영하는지를 평가하는 새로운 기준을 제시한다. 이는 CUA의 실용성과 신뢰도를 높이는 데 기여할 수 있다. 그러나, 본 연구는 인공적인 인격을 기반으로 하며, 실제 사용자와의 차이가 있을 수 있다. 또한, CUA가 긴 작업 흐름 중 사용자의 말을 일관되게 반영하는 능력이 부족하다는 점도 한계로 지적된다.
실용적 활용
PersonaCUABench는 CUA가 다양한 사용자 요구를 반영하는 능력을 평가하는 데 활용 가능하다. 특히, 고객 지원, 개인화된 정보 제공, 재무 관리 등 사용자 맞춤형 서비스가 필요한 산업에서 유용하다. 또한, CUA 모델 개선 및 사용자 경험(UX) 연구에도 기여할 수 있다.