Show-Harness: Just a VLM Agent Can Play Robots

Foundation vision-language models (VLMs) exhibit broad intelligence about the world, yet translating this intelligence into robot control remains challenging. We present Show-Harness, an Embodied Harness that enables VLMs to "play" robots through a compact semantic interface linking intent to action. Show-Harness exposes discrete semantic action units that VLMs can naturally reason over, while embodiment-specific interpreters deterministically ground them into local robot actions, keeping the VLM directly responsible for fine-grained physical decisions. Through the same interface, Show-Harness demonstrates the feasibility of (1) directly unlocking closed-source frontier VLMs for zero-shot robot control, and (2) adapting small-scale open-source VLMs for low-cost deployment with just a few GPU-hours of fine-tuning. We further develop GUMI (GUI Manipulation Interface), which extends the same semantic action space to GUI-based demonstration collection, allowing humans and agents to "play" robots across embodiments without specialized teleoperation hardware. Extensive experiments show that Show-Harness-equipped VLM agents generalize robustly across tasks, embodiments, and environments, outperforming representative agentic and VLA paradigms. These results suggest that the right interface can unlock substantial embodied capability from foundation VLMs, without requiring additional model capacity or costly embodiment-specific pretraining.

한 줄 요약

Show-Harness는 VLM을 통해 로봇을 제어할 수 있는 세마틱 인터페이스를 제공하여, 제로샷 및 저비용 배포가 가능하다.

핵심 기여도

Show-Harness는 VLM이 직접 로봇을 제어할 수 있는 세마틱 액션 유닛을 제공하며, 이는 로봇의 구체적 동작으로 결정적으로 변환된다.
GUMI(GUI Manipulation Interface)를 통해 GUI 기반의 데모 수집이 가능하며, 특수 장비 없이도 인간과 에이전트가 로봇을 조작할 수 있다.
2B 규모의 소규모 VLM도 Show-Harness를 통해 GPU 시간 수 시간만의 미세 조정으로 강력한 일반화 능력을 보인다.
Show-Harness는 기존 대표적 에이전트 및 VLA 패러다임보다 다양한 작업, 로봇 형태, 환경에서 더 우수한 성능을 보인다.

핵심 아이디어

Show-Harness는 기초 VLM이 로봇 제어에 활용될 수 있도록, 세마틱한 액션 공간을 제공하는 인터페이스를 설계한 것이 핵심이다. 이는 VLM이 자연스럽게 추론할 수 있는 이산적 액션 단위를 제시하면서, 로봇 특화 해석기(interpreter)를 통해 이 단위를 결정적으로 로컬 액션으로 변환한다. 이 방식은 VLM이 세부적인 물리적 결정을 직접 책임지게 하며, 기존 VLA 모델이 필요로 하는 복잡한 미세 조정 없이도 가능하다.

GUMI는 이 세마틱 액션 공간을 GUI 기반 데모 수집에 확장하여, 인간과 에이전트가 특수 장비 없이도 로봇 조작을 학습할 수 있도록 한다. 이는 기존의 계층적 또는 프로그래밍 방식의 제어 시스템에서 벗어나, VLM의 추론과 실행 사이의 직접적인 연결을 강화한다.

기술적 접근법

Show-Harness는 이산적 세마틱 액션 단위(예: 특정 방향으로 이동, 그립퍼 동작)를 정의하고, 로봇 특화 해석기(interpreter)를 통해 이 단위를 결정적으로 로컬 액션으로 변환한다.
VLM은 이 액션 단위를 기반으로 작업을 수행하며, 각 단위 실행 후 피드백을 받아 순환적인 제어 루프를 유지한다.
GUMI는 GUI 기반으로 동작하며, 인간과 에이전트가 동일한 세마틱 액션 공간에서 데모를 수집할 수 있도록 지원한다.
2B 규모의 소규모 VLM은 Show-Harness를 통해 수 시간의 GPU 시간만으로 미세 조정되어, 기존 VLA 모델보다 더 높은 일반화 능력을 보인다.

주요 결과

Show-Harness는 다양한 작업, 로봇 형태, 환경에서 기존 대표적 에이전트 및 VLA 패러다임보다 우수한 성능을 보인다.
2B 규모의 VLM은 Show-Harness를 통해 수 시간의 GPU 시간만으로 미세 조정되어, 기존 VLA 모델보다 더 높은 일반화 능력을 보인다.
GUMI를 통해 GUI 기반 데모 수집이 가능하며, 특수 장비 없이도 인간-에이전트 협업이 가능하다.
제로샷 제어에서, Show-Harness는 미세 조정 없이도 기존 에이전트보다 더 높은 성능을 보인다.

의의 및 한계

Show-Harness는 기존 VLM의 지식을 로봇 제어에 직접 활용할 수 있는 인터페이스를 제공하며, 기존 VLA 모델이 필요로 하는 복잡한 미세 조정 없이도 가능하다. 이는 기초 VLM의 잠재력을 최대한 활용할 수 있는 새로운 방향을 제시한다. 그러나 현재는 주로 단일 팔 및 이중 팔 조작에만 적용되었으며, 더 복잡한 로봇 형태(예: 인형, 섬세한 손)로 확장하는 것이 필요하다. 또한, 터치 및 힘 피드백과 같은 추가 감각 모달을 통합하면 더 섬세한 물리적 상호작용이 가능할 수 있다.

실용적 활용

Show-Harness는 로봇 제어 분야에서 저비용 배포와 빠른 적응이 필요한 상황에 유용하며, 특히 소규모 VLM을 활용한 실용적 로봇 애플리케이션 개발에 적합하다. GUMI를 통해 GUI 기반의 데모 수집이 가능하므로, 특수 장비 없이도 인간-로봇 상호작용을 학습할 수 있어, 교육 및 협업 로봇 분야에도 활용 가능하다.