From Foundation to Application: Improving VLA Models in Practice

Despite recent progress of VLA foundation models, the disparity between laboratory conditions and real-world applications continues to impede their practical implementation. To bridge this gap, we present LingBot-VLA 2.0, which advances LingBot-VLA through improvements in three functional domains. (1) Generalization across tasks and embodiments. Compared to the previous version, we revamp the data processing pipeline and curate around 60,000 hours of data for pretraining, including 50,000 hours of robot trajectories spanning 20 robot configurations and 10,000 hours of egocentric human videos. (2) Expanded action space in addition to dual-arm hardware platforms. In particular, our system accommodates degrees of freedom for the heads, waists, mobile bases, and dexterous hands, thereby empowering the robots to tackle more complex tasks in practical scenarios. (3) Predictive dynamics modeling for improved temporal reasoning. Specifically, we formulate future prediction as a proxy task, facilitated by a video representation model for semantic priors and a depth estimation model for geometric cues. Evaluations on the GM-100 benchmark, conducted in a generalist setting, validate the beneficial impact of these proposed modifications. Furthermore, benefiting from the expanded pretraining data that covers whole-body degrees of freedom, LingBot-VLA-2.0 demonstrates strong cross-embodiment long-horizon mobile manipulation capability across the two robotic platforms.

한 줄 요약

LingBot-VLA 2.0은 60,000시간의 대규모 데이터와 확장된 액션 공간, 예측 역학 모델링을 통해 실제 로봇 적용에 가까운 VLA 모델을 제시한다.

핵심 기여도

60,000시간의 데이터셋(로봇 50,000시간 + 인간 10,000시간)으로 태스크 및 로봇 구조 간 일반화 성능 향상
머리, 허리, 모바일 베이스, 민첩한 손 등 전체 몸의 자유도를 지원하는 확장된 액션 공간 구현
비디오 표현 모델과 깊이 추정 모델을 활용한 예측 역학 모델링을 통해 시간적 추론 능력 강화
GM-100 벤치마크에서 장기 이동 조작 성능을 두 로봇 플랫폼에서 검증

핵심 아이디어

LingBot-VLA 2.0은 기존 VLA 모델의 실험실 환경과 실제 적용 간의 격차를 줄이기 위해 데이터, 액션 공간, 예측 역학 세 가지 영역을 동시에 개선하는 접근법을 제시한다. 일반화 능력을 높이기 위해 20개 로봇 구조와 10,000시간의 인간 중심 영상이 포함된 60,000시간의 대규모 데이터셋을 구축했다. 또한, 이전의 이중 팔 중심 액션 공간을 넘어 머리, 허리, 모바일 베이스, 민첩한 손까지 커버하는 전체 몸의 자유도를 지원함으로써 더 복잡한 실제 작업을 처리할 수 있도록 했다. 시간적 추론 능력은 비디오 표현 모델과 깊이 추정 모델을 결합한 예측 역학 모델링을 통해 향상시켰으며, 이는 미래 장면 진화와 행동 결과를 예측하는 프록시 태스크로 사용되었다.

기술적 접근법

**데이터셋**: 60,000시간의 데이터(로봇 50,000시간 + 인간 10,000시간)를 사용하여 다양한 로봇 구조(20개)와 상호작용 시나리오를 커버
**액션 공간**: 머리, 허리, 모바일 베이스, 민첩한 손 등 전체 몸의 자유도를 지원하는 확장된 액션 공간
**예측 역학 모델링**: 비디오 표현 모델(semantic priors)과 깊이 추정 모델(geometric cues)을 결합한 프록시 태스크를 통해 미래 장면 예측
**평가**: GM-100 벤치마크에서 9개 태스크와 2개의 장기 이동 조작 태스크에서 검증

주요 결과

GM-100 벤치마크에서 LingBot-VLA 2.0은 기존 모델 대비 장기 이동 조작 성능이 향상됨
두 로봇 플랫폼에서 강력한 cross-embodiment 성능을 보임
60,000시간의 대규모 데이터셋을 통해 태스크 및 로봇 구조 간 일반화 능력 향상

의의 및 한계

LingBot-VLA 2.0은 VLA 모델의 실험실 성능과 실제 적용 간의 격차를 줄이는 데 기여하며, 실제 로봇 시스템에 더 가까운 기반 모델을 제시한다. 특히, 전체 몸의 자유도를 지원하는 액션 공간과 예측 역학 모델링은 동적 환경에서의 시간적 추론 능력을 강화하는 데 효과적이다. 그러나, 사용된 데이터셋의 출처(예: Ant Digital Technologies, Genrobot.ai)는 특정 기관에 의존적이며, 더 다양한 환경에서의 일반화 능력 검증이 필요하다. 또한, 모델의 복잡성 증가에 따른 계산 비용 상승도 한계로 작용할 수 있다.

실용적 활용

LingBot-VLA 2.0은 다양한 로봇 구조를 지원하는 액션 공간과 예측 역학 모델링을 통해 물류, 제조, 서비스 로봇 등 복잡한 작업 환경에서 활용 가능하다. 특히, 장기 이동 조작이 필요한 상황에서 실용적 가치가 높으며, 실제 로봇 시스템의 설계 및 운영에 기반 모델로 활용될 수 있다.