EVA-Client: A Unified Data Collection, Inference, and Deployment Framework for Embodied Policies on Real Robots

We present EVA-Client, an open-source framework for deployment, data collection, and evaluation of trained manipulation policies on real robots. Sitting between a policy server and the physical hardware, EVA-Client unifies the real-robot stages of the policy iteration loop within a single codebase. It makes three contributions. First, a component-decoupled architecture in which robot backends, inference strategies, and transport middlewares form an orthogonal grid: adding a robot or a strategy touches only its own layer. Second, inspectable execution through Debug, Collect, and Eval workflows, with modes ranging from open-loop simulation to continuous real-time control. Third, every evaluation run doubles as a data collection, recording full rollouts in training-ready format alongside exhaustive logs and a side-by-side comparison viewer, so each evaluation feeds the next round of training rather than ending as an unrecorded impression. EVA-Client further consolidates major real-time inference strategies, synchronous and asynchronous execution, ACT-style temporal ensembling, Real-Time Chunking, and a naive-async ablation baseline, behind a single configuration surface.

한 줄 요약

EVA-Client는 실제 로봇에서 정책을 배포하고 평가하며 데이터를 수집하는 통합 프레임워크로, 다양한 정책과 로봇 플랫폼 간의 재사용 및 비교를 가능하게 한다.

핵심 기여도

**모듈 분리 아키텍처**: 로봇 백엔드, 추론 전략, 전송 미들웨어가 직교적인 그리드로 구성되어 있어, 새로운 로봇이나 전략 추가 시 해당 레이어만 수정하면 된다.
**평가-데이터 수집 통합**: 모든 평가 실행이 동시에 데이터 수집으로 이뤄져, `training-ready format`의 전체 rollout 데이터와 로그, 비교 뷰어를 생성한다.
**실시간 추론 전략 통합**: `ACT-style temporal ensembling`, `Real-Time Chunking`, `naive-async` 등 다양한 전략을 단일 설정 인터페이스로 제공한다.

핵심 아이디어

EVA-Client는 로봇 정책의 배포, 추론, 평가, 데이터 수집을 단일 코드베이스로 통합함으로써, 기존에 각각의 스크립트로 분산되어 있던 작업을 모듈화하고 재사용 가능하게 만든다. 이는 특히 `openpi`, `StarVLA`, `GR00T`, `Dream-Zero` 등 다양한 정책 서버와 호환되며, `ROS 1/2`, `ZMQ`와 같은 전송 미들웨어를 통해 로봇 실행 스택과 연결된다.

핵심 아이디어는 `component-decoupled architecture`를 통해, 신호 소스, 전송, 로봇 설명, 추론 전략, CLI/web 레이어가 각각 독립적으로 교체 가능하도록 설계한 점이다. 예를 들어, `inference strategy`는 `Real-Time Chunking`과 `ACT-style temporal ensembling`을 지원하며, 이는 동일한 정책이 다른 실행 방식에서 어떻게 성능이 달라지는지를 비교할 수 있게 한다.

기술적 접근법

**모듈 구조**: 5개의 레이어로 구성된 내부 아키텍처 — `transport`, `robot description`, `policy client`, `inference strategy`, `CLI/web`.
**신호 소스**: `openpi`, `StarVLA`, `GR00T`, `Dream-Zero`, `human teleoperation` 등.
**전송 미들웨어**: `ROS 1/2`, `ZMQ`.
**추론 전략**: `ACT-style temporal ensembling`, `Real-Time Chunking`, `naive-async` 등.
**실행 모드**: `Debug`, `Collect`, `Eval` workflow로 구성되어 있으며, `open-loop simulation`부터 `continuous real-time control`까지 지원.

주요 결과

**재현 가능한 평가**: 모든 평가 실행은 `training-ready format`의 rollout 데이터와 로그를 생성하며, 이는 다음 훈련 라운드에 직접 피드백된다.
**다양한 정책 호환성**: `openpi`, `LeRobot`, `StarVLA`, `VLA Foundry` 등 다양한 정책 훈련 프레임워크와 호환.
**실행 전략 비교**: `Real-Time Chunking`과 `naive-async` 비교 실험에서 단일 추론 전략 변경이 작업 성공 여부에 직접적인 영향을 미친 사례가 보고됨 (Section 6, Figure 4).

의의 및 한계

EVA-Client는 로봇 정책의 배포와 평가를 체계화하고, 데이터 수집-실행-훈련 사이의 피드백 루프를 닫는 데 기여한다. 이는 정책 개선이 모델 자체의 성능 개선인지, 배포 설정의 변화인지 구분하는 데 도움을 줌으로써, 학술적 신뢰도를 높인다. 또한, 다양한 로봇 플랫폼과 정책 사이의 비교 실험을 가능하게 하며, 산업 현장에서의 실제 배포를 용이하게 한다.

하지만, EVA-Client는 자체적으로 정책을 개선하거나 새로운 정책을 학습하지는 않으며, 기존 훈련 프레임워크와의 호환성에 의존한다는 점에서 한계가 있다. 또한, 특정 로봇 하드웨어에 대한 지원이 제한적일 수 있으며, 이는 추가적인 로봇 설명 레이어 개발을 요구한다.

실용적 활용

EVA-Client는 로봇 조작 정책의 실제 배포 및 평가가 필요한 산업 현장, 예를 들어 물류, 제조, 서비스 로봇 분야에서 유용하게 사용될 수 있다. 또한, 연구자들이 다양한 정책과 추론 전략을 비교 실험하고, 재현 가능한 평가를 통해 모델 개선 여부를 정량적으로 판단하는 데 활용할 수 있다.