HiSTEVE 1.0: Harnessing Human-Interface VLA Agents for Open-World Games

Building virtual embodied agents that operate in open-ended games like human players is a long-standing goal requiring both long-horizon autonomy and reliable native-interface control. As a procedurally generated open world, Minecraft provides a natural testbed for studying the integration of these capabilities. Existing agents typically provide either native visuomotor control without long-horizon autonomy or high-level planning executed through environment APIs or predefined skills. To bridge this gap, we propose HiSTEVE, a hierarchical VLA agent with a capability-aware agent harness. At the orchestration level, we equip the harness with structured memory for tracking progress and a VLM planner for selecting subtasks within the VLA's capabilities. To reliably determine subtask completion, we further introduce a policy-coupled task completion state detector that conditions on VLA policy context to signal candidate completion. At the control level, a single VLA executes all subtasks with vision-only perception and native keyboard-and-mouse actions. To mitigate interference between heterogeneous GUI and non-GUI interactions, we introduce regime-specific RMSNorm branches and separate mouse-movement token embeddings. We also train the VLA through world knowledge injection, imitation learning, and reinforcement learning with environment feedback to improve reliability and recovery. HiSTEVE achieves state-of-the-art atomic-task performance, scoring 85.0% on MineStudio Bench and a 37.4% average success rate on OpenHA, while also completing long-horizon tasks such as crafting an iron pickaxe from scratch like human players.

한 줄 요약

HiSTEVE는 Minecraft에서 인간처럼 행동하는 계층형 VLA 에이전트로, 85.0% 성능을 달성하며 장기 과제를 수행한다.

핵심 기여도

HiSTEVE는 계층 구조를 갖춘 VLA 에이전트로, 장기 자율성과 신뢰할 수 있는 인터페이스 제어를 결합.
정책-결합 태스크 완료 상태 감지기와 구조화된 메모리, VLM 플래너를 통해 하위 태스크를 관리.
GUI와 비-GUI 상호작용 간 간섭을 줄이기 위해 제도별 RMSNorm 분기와 별도의 마우스 이동 토큰 임베딩 도입.
MineStudio Bench에서 85.0%, OpenHA에서 37.4% 성능을 달성하며, 기존 베이스라인 대비 최대 28.6% 개선.

핵심 아이디어

HiSTEVE는 Minecraft와 같은 개방형 게임 환경에서 인간처럼 행동하는 가상 에이전트를 구축하는 문제를 해결하기 위해, 기존 접근 방식의 한계를 극복하는 계층형 구조를 제안한다. 기존 VLA 모델은 단순히 시각 정보를 키보드-마우스 동작으로 매핑하지만, 장기 자율성 부족이 문제였다. 반면, LLM 기반 에이전트는 고수준 계획은 가능하지만, 실제 인터페이스 제어는 제한적이었다. HiSTEVE는 이 두 가지를 결합한 하이브리드 시스템으로, 상위 계획 수준에서 VLM 플래너와 구조화된 메모리를 사용해 하위 태스크를 선택하고, 하위 실행 수준에서는 단일 VLA가 시각 정보만으로 키보드-마우스 동작을 수행한다. 특히, 정책-결합 태스크 완료 상태 감지기는 VLA 정책 컨텍스트를 기반으로 하위 태스크 완료 여부를 신뢰성 있게 판단하여, 실행-계획 사이의 피드백 루프를 닫는다.

기술적 접근법

**상위 계획 수준**: 구조화된 메모리와 VLM 플래너를 사용하여 하위 태스크를 선택.
**하위 실행 수준**: 단일 VLA가 시각 정보만으로 키보드-마우스 동작을 수행.
**태스크 완료 판단**: 정책-결합 태스크 완료 상태 감지기 (Policy-Coupled Task Completion State Detector) 도입.
**GUI/비-GUI 상호작용 분리**: 제도별 RMSNorm 분기와 별도의 마우스 이동 토큰 임베딩을 사용.
**학습 전략**: 월드 지식 주입, 투입 학습, 강화 학습을 통한 VLA 학습.
**모델**: Qwen2.5-VL-3B 백본 사용.

주요 결과

**MineStudio Bench**: 85.0% 성능 달성 (기존 베이스라인 대비 +20.0% 개선).
**OpenHA**: 37.4% 평균 성공률 (기존 베이스라인 대비 +0.6% 개선).
**LongBench**: 최대 28.6% 개선.
**장기 과제 수행**: 철 골드 픽을 제작하는 등 인간처럼 복합적 과제 수행 가능.

의의 및 한계

HiSTEVE는 장기 자율성과 신뢰할 수 있는 인터페이스 제어를 동시에 달성한 첫 번째 시도로, 가상 에이전트 연구의 중요한 진전이다. 특히, 단일 VLA가 GUI와 비-GUI 상호작용을 모두 처리하는 데 성공했으며, 정책-결합 태스크 완료 상태 감지기를 통해 실행-계획 사이의 피드백 루프를 효과적으로 닫는 것이 핵심 기여이다. 그러나 하위 태스크 인터페이스는 수동적으로 정의되어 있으며, 새로운 기능 추가에는 추가 학습 데이터와 정책 업데이트가 필요하다. 또한, 고수준 계획은 오프-더-셰프 VLM에 의존하여, 전체 시스템 성능이 선택된 VLM 백엔드에 크게 의존한다는 한계가 있다.

실용적 활용

HiSTEVE는 게임 환경에서 인간처럼 행동하는 에이전트 개발에 활용될 수 있으며, 특히 Minecraft와 같은 개방형 세계에서 자율 탐색, 자원 수집, 제작 등 복합적 과제 수행에 적합하다. 또한, 이 연구는 향후 게임 외의 상호작용적 도메인에서 에이전트 지능을 훈련하는 데 기초가 될 수 있다.