CLASHarness: Benchmarking Multi-Agent Conflict in Computer Use via a Controllable and Verifiable Generation Pipeline

Vision-language models (VLMs) are increasingly deployed in multi-agent systems to automate complex computer-use workflows, yet existing benchmarks mostly assume consistent, cooperative environments. In contrast, real-world collaboration rarely runs on consistent information: peer or sub-agents frequently report outdated states, issue contradictory instructions, or compete over shared permissions and files, forcing agents to check others' outputs and verify ground truth in the environment. Evaluating such conflict resolution remains challenging: manual authoring cannot scale across complex systems, while unconstrained LLM generation produces narrative drift, answer leakage, and unsatisfiable rubrics. We introduce CLASHarness (Conflict-Loaded Agent Scenario Harness), a controllable framework for generating verifiable multi-agent conflicts in computer use, with a benchmark of 600 multi-round tasks. By combining hierarchical scenario planning with an eight-step verified micro-pipeline, CLASHarness pre-commits decisive visual facts before rendering and compiles hybrid code and semantic graders directly from executed reference trajectories, guaranteeing every task is solvable by construction. Evaluating 15 frontier models on CLASHarness reveals three core bottlenecks. First, when sub-agent outputs conflict with the environment, weaker models blindly follow misleading information, whereas stronger models inspect visual evidence to verify ground truth. Second, resolving conflicts is much harder than finding them: while agents can spot inconsistencies, actively fixing system state drops task success significantly. Third, coordination protocols remain a universal bottleneck: even frontier models fail over 58% of closing actions, often forgetting to release shared locks or hand off tasks. CLASHarness provides a scalable, verifiable foundation for building reliable multi-agent systems.

한 줄 요약

CLASHarness는 600개의 다단계 컴퓨터 사용 시나리오를 생성하여 멀티에이전트 간 충돌 해결 능력을 평가하는 벤치마크 프레임워크이다.

핵심 기여도

CLASHarness는 20개 운영 도메인, 600개 실행 가능한 충돌 라운드, 7,970개 사전 확정 시각 자산, 3,760개 하이브리드 체커를 포함한 벤치마크를 제공.
15개 최첨단 모델 평가를 통해 3가지 핵심 병목 현상(시각적 접지 vs. 맹신, 해결 vs. 탐지, 협력 프로토콜 실패)을 발견.
8단계 검증 마이크로 파이프라인과 실행 컴파일 체커를 통해 모든 작업이 수립 시점에서 해결 가능하도록 보장.
모듈식 플러그인 아키텍처와 자동 검증 파이프라인을 통해 다음 세대 VLM 학습에 활용 가능.

핵심 아이디어

CLASHarness는 기존의 단일 에이전트 중심 또는 텍스트 기반 멀티에이전트 평가 시스템이 현실의 혼란스러운 협업 환경을 반영하지 못한다는 문제를 해결하기 위해 설계되었다. 실제 협업에서는 동료 또는 하위 에이전트가 오래된 상태를 보고하거나 모순된 지시를 내리는 경우가 많으며, 이는 시스템 상태를 확인하고 충돌을 해결해야 하는 상황을 유발한다. CLASHarness는 8단계 검증 마이크로 파이프라인과 실행 컴파일 체커를 통해 시각적 증거가 필요하다는 점을 보장하며, 모든 작업이 수립 시점에서 해결 가능하도록 보장한다. 특히, "Execution-Compiled Verification" 모듈은 참조 트래젝토리에서 직접 하이브리드 체커를 컴파일하여, 수동 스크립팅 없이도 모든 작업이 해결 가능하도록 보장한다.

기술적 접근법

**Hierarchical Phased Synthesis**: 시나리오 생성을 매크로 계획과 검증된 마이크로 실행으로 분해하여 컨텍스트 오버플로우와 드리프트를 방지.
**Pre-Committed Multimodal Grounding**: 환경 렌더링 전에 결정적인 시각적 진실 값을 확정하여, 시각 증거가 장식이 아닌 필수 요소가 되도록 보장.
**Execution-Compiled Verification**: 참조 트래젝토리에서 직접 하이브리드 체커(정확한 코드 체크 + 범위 제한 의미 기준)를 컴파일하여 모든 작업이 해결 가능하도록 보장.
600개의 다단계 시나리오 생성, 7,970개 사전 확정 시각 자산, 3,760개 하이브리드 체커 포함.

주요 결과

15개 최첨단 모델 평가 결과, **58% 이상의 종료 동작 실패** 발생.
**약한 모델은 오도된 정보를 맹신**, 강력한 모델은 시각 증거를 검토하여 진실을 검증.
**충돌 해결은 탐지보다 훨씬 어려움**: 불일치를 감지하는 것보다 시스템 상태를 수정하는 것이 성공률을 크게 낮춤.
**협력 프로토콜 실패**: 종료 동작에서 58% 이상 실패, 공유 잠금 해제나 하위 에이전트 작업 이관을 잊는 경우 많음.

의의 및 한계

CLASHarness는 현실적인 멀티에이전트 협업 환경에서의 충돌 해결 능력을 평가할 수 있는 첫 번째 벤치마크로, 시각-언어 모델(VLM)의 신뢰성과 확장성을 진단하는 데 기여한다. 특히, 실행 컴파일 체커와 사전 확정 시각 자산을 통해 수동 작업 없이도 모든 작업이 해결 가능하도록 보장하는 점에서 혁신적이다. 그러나, CLASHarness는 주로 컴퓨터 사용 환경에 초점을 맞춘 것이므로, 다른 도메인(예: 로봇, 물리적 환경)으로의 확장 가능성은 명시되지 않았다. 또한, 평가 모델은 주로 영문 기반 모델이므로, 다국어 지원 능력은 추가 연구가 필요하다.

실용적 활용

CLASHarness는 클라우드 관리, 소프트웨어 배포, 시스템 모니터링 등 복잡한 멀티에이전트 협업이 필요한 산업에서 활용 가능하다. 특히, 시스템 상태를 자동으로 확인하고 충돌을 해결하는 에이전트를 훈련하고 평가하는 데 유용하며, 다음 세대 VLM의 신뢰성 향상에 기여할 수 있다.