RoboHarness: A Simple Harness Outperforms VLA and World Action Models

The rise of large language models (LLMs) has opened a path toward generalist embodied AI, raising the question of how LLMs can act in the physical world. One straightforward approach is training the model to generate actions: collect robot-action data and video demonstration, refine LLM architecture with an action head, and train a vision-language-action (VLA) model at scale. However, we argue that coding agents have the potential to realize generalist embodied manipulation. All they need is a simple yet effective robot harness. We present RoboHarness: a robotic harness that gives LLM agents a visual-geometric control panel so that they can directly understand and invoke embodied tasks. With RoboHarness, Qwen3.8-Flash-Next outperforms state-of-the-art VLA models on BEHAVIOR Challenge 2025 tasks. The implementation is open source.

한 줄 요약

RoboHarness는 VLA 및 WAM 모델을 초과하는 간단한 제어 인터페이스를 제공하는 LLM 기반 로봇 조작 시스템이다.

핵심 기여도

RoboHarness는 Qwen3.8-Flash-Next 모델을 사용하여 BEHAVIOR Challenge 2025 태스크에서 최신 VLA 모델을 초과함.
VLA 및 WAM 모델과 달리 추가 학습 없이도 장기적 가정 태스크를 해결함.
시각-기하학적 제어 패널을 통해 LLM이 직접 조작 동작을 생성할 수 있도록 함.
오픈소스로 공개되어 연구 및 개발에 활용 가능함.

핵심 아이디어

기존 VLA 모델은 로봇 동작 데이터를 대규모로 학습하여 동작을 생성하지만, 이는 데이터 수집과 학습 비용이 높다. RoboHarness는 LLM이 별도 학습 없이도 조작을 수행할 수 있도록, 시각-기하학적 인터페이스를 제공한다. 이 인터페이스는 객체와 그리퍼 간의 기하학적 관계를 표현하는 기본 동작 도구(primitive action tools)를 사용한다. 이 도구는 (i) 그리퍼와 객체 간의 접촉 자세, (ii) 객체 간의 공간 관계를 기하학적 제약으로 표현할 수 있음을 증명한다. LLM은 2D 이미지 상의 지점(localization)을 식별하고, 이 정보를 기반으로 복잡한 조작을 구성한다.

기술적 접근법

**Primitive Action Tools**: 그리퍼와 객체 간의 기하학적 관계를 표현하는 최소한의 기본 동작 도구를 설계.
**Spatial Grounding**: VLM이 2D 이미지 상의 지점을 정확히 식별하도록 훈련된 grounding 정보를 활용.
**Optical Flow & Depth Back-Projection**: 지속적인 객체 위치 추적을 위해 사용.
**LLM 활용**: Qwen3.8-Flash-Next 모델을 사용하여 복잡한 조작을 구성.
**No Fine-tuning**: BEHAVIOR-1K 데이터셋에서 학습 없이 수행.

주요 결과

**BEHAVIOR Challenge 2025** 태스크에서 Qwen3.8-Flash-Next는 최신 VLA 모델을 초과함.
**Fully out-of-distribution generalization** 테스트에서 VLA 및 WAM 기반 베이스라인 대비 **상당한 성능 향상** 보임.
**BEHAVIOR-1K** 데이터셋에서 학습 없이도 장기적 가정 태스크 수행 성공.

의의 및 한계

RoboHarness는 기존 VLA 및 WAM 모델의 복잡한 학습 과정을 우회하며, LLM이 직접 조작을 수행할 수 있는 새로운 패러다임을 제시한다. 이는 로봇 조작 분야에서 데이터 수집 및 학습 비용을 줄이는 데 기여할 수 있다. 그러나 RoboHarness는 특정 기하학적 제약에 의존하므로, 더 복잡한 환경에서는 한계가 있을 수 있다. 또한, LLM이 정확한 지점(localization)을 식별하지 못하는 경우 조작 성능이 저하될 수 있다.

실용적 활용

RoboHarness는 가정용 로봇, 산업 자동화, 물류 시스템 등에서 LLM 기반의 저비용 고유연성 조작 시스템 구축에 활용 가능하다. 특히, 데이터 수집이 어려운 신규 환경에서 유용할 수 있다.