Toward AI VIS Co-Scientists: A General and End-to-End Agent Harness for Solving Complex Data Visualization Tasks

The ability to inspect, interpret, and communicate complex data is crucial for virtually any scientific endeavor, but often requires significant expertise outside the core domain ranging from data management and analysis to visualization design and implementation. We present an end-to-end agentic harness that, based on only the data and a high level description of the tasks, independently designs custom visual analysis applications (VIS apps). This represents an important step towards a general AI co-scientist envisioned by many as an autonomous system that can autonomously execute long horizon tasks based on high-level directions. Our proposed VIS co-scientist is an essential component of this broader AI co-scientist vision: a harness that can autonomously analyze data and design visualization solutions using a collection of agents and specialized skills that coordinate exploratory analysis, plan, configure the environment, implement, validate the interface, and most importantly evaluate the overall task completion. Each stage produces document and instruction artifacts that guide downstream work and enable iterative refinement. We validate this approach on IEEE SciVis Contests spanning multiple science and engineering fields. These contests serve as ideal proving grounds because they encode real-world complexity: ambiguous requirements, diverse data modalities, design trade-offs, and task-driven validation. Given only the data and target tasks, our system autonomously produces functional single-page VIS Apps with verified linked-view behavior, highly customized to domain experts' specified tasks and needs.

한 줄 요약

**[AI Co-Scientist / 시각화]** End-to-end agentic harness가 data와 task 설명만으로 VIS 앱을 자율 설계 — exploration·planning·implementation·validation·evaluation 단계가 IEEE SciVis Contest 다분야에서 linked-view 검증된 single-page 앱 자동 생성.

핵심 기여도

복잡 데이터의 검토·해석·전달이 거의 모든 과학 활동에 필수지만, data management·analysis·visualization design·implementation에 걸친 core domain 외 전문성을 요구하는 문제 진단.
Data와 high-level task 설명만으로 custom visual analysis 앱(VIS apps)을 자율 설계하는 end-to-end agentic harness 제시 — 자율적 long-horizon task 수행을 가능하게 하는 general AI co-scientist 비전의 핵심 구성 요소.
VIS co-scientist가 broader AI co-scientist의 essential 컴포넌트 — exploratory analysis·planning·environment 설정·implementation·인터페이스 validation·overall task 완수 평가를 조정하는 agent·specialized skill 컬렉션 활용.
각 단계가 document·instruction artifact를 생성해 downstream work를 가이드하고 iterative refinement 가능 — IEEE SciVis Contest 다분야로 검증.

핵심 아이디어

일반 AI co-scientist 비전을 시각화 도메인에서 구현하려면 단일 모놀리식 모델이 아닌 단계별 agent와 specialized skill의 협응이 필요하며, 각 단계의 artifact가 iterative refinement를 가능하게 하는 documentation-driven 파이프라인이 효과적 경로다.

기술적 접근법

**방법론**: VIS Co-Scientist — end-to-end agentic harness with multi-stage agents.
**핵심 기법**: (1) Exploratory analysis로 데이터 이해, (2) Planning agent가 시각화 전략 수립, (3) Environment 설정 agent가 의존성·도구 구성, (4) Implementation agent가 코드·UI 작성, (5) Validation agent가 linked-view behavior 검증·evaluation agent가 task 완수 평가, 각 단계 artifact가 iterative refinement 입력.

주요 결과

IEEE SciVis Contest 다분야(여러 과학·공학 분야) 데이터셋으로 검증.
Ambiguous 요구사항·다양 data modality·design trade-off·task-driven validation의 실세계 복잡성 처리.
데이터와 target task만 주면 verified linked-view behavior의 functional single-page VIS App을 autonomously 생성.
Domain expert의 task·요구에 highly customized된 결과물.

의의 및 한계

**의의**: AI co-scientist 비전의 시각화 영역 구체화, IEEE SciVis Contest를 proving ground로 활용한 신뢰성 검증, multi-agent + artifact 기반 iterative refinement 패턴. **한계**: VIS Contest 도메인의 representativeness 제한, single-page 앱에 한정·복잡 multi-page workflow 미커버, agent orchestration 비용·debug 부담.

실용적 활용

도메인 전문가용 자동 시각 분석 도구.
과학 데이터 탐색·논문 figure 자동 생성.
AI co-scientist의 visualization 컴포넌트.