Scaling Mixture-of-Experts Video Pretraining for Embodied Intelligence

Despite the recent promise in robot control, video generative models suffer from a domain mismatch due to their primary focus on content creation. For example, their design inherently prioritizes visual fidelity and creativity over computational efficiency and physical realism. In this work, we present LingBot-Video, a DiT-based video pretraining paradigm specifically tailored for embodied intelligence. From the architecture perspective, we adopt the Mixture-of-Experts (MoE), instead of dense, framework to achieve a better trade-off between modeling capacity and inference efficiency, and manage to scale it up from scratch. From the data perspective, we construct a data profiling engine that augments standard internet videos with extensive robot-oriented footage, encompassing manipulation, navigation, and egocentric perspectives, to equip the base model with an intrinsic understanding of actions and world dynamics. From the training perspective, we develop a multi-dimensional reward system to enforce the alignment regarding physical rationality and task completion, going beyond standard criteria such as aesthetics, prompt-following, and motion consistency. Comprehensive evaluations validate its performance and efficiency as a video foundation model. We contribute LingBot-Video as the inaugural large-scale, open-source MoE video foundation model to the community, in a pioneering effort to bridge digital creativity and physical actuation.

한 줄 요약

LingBot-Video는 MoE 기반의 영상 사전학습 모델로, 실체 지능을 위한 효율적이고 물리적 현실성을 갖춘 비디오 생성 모델을 제시한다.

핵심 기여도

MoE(Mixture-of-Experts) 아키텍처를 채택하여 모델링 능력과 추론 효율성의 균형을 맞춤.
로봇 중심의 데이터 증강 엔진을 통해 조작, 탐색, 제1인칭 시점 등 데이터를 확장함.
물리적 합리성과 작업 완료를 강화하는 다차원 보상 시스템을 개발함.
LingBot-Video는 첫 번째 대규모 오픈소스 MoE 기반 비디오 기초 모델임.

핵심 아이디어

기존 영상 생성 모델은 주로 창의성과 시각 품질에 집중하여, 로봇 제어와 같은 실체 지능 분야에 적합하지 않다. 이에 반해 LingBot-Video는 MoE 아키텍처를 도입하여, 높은 모델링 능력과 동시에 추론 효율성을 확보함으로써 실체 지능에 적합한 모델로 설계되었다. 또한, 로봇 행동과 환경 동작을 이해할 수 있도록, 인터넷 영상에 로봇 중심의 데이터를 추가하는 데이터 프로파일링 엔진을 구축하였다. 마지막으로, 기존의 미학, 프롬프트 준수, 움직임 일관성 기준을 넘어, 물리적 합리성과 작업 완료를 강화하는 다차원 보상 시스템을 도입하여 모델의 실용성을 높였다.

기술적 접근법

**모델 아키텍처**: DiT(Diffusion Transformer) 기반으로 MoE(Mixture-of-Experts) 구조를 채택.
**데이터**: 인터넷 영상에 로봇 조작, 탐색, 제1인칭 시점 데이터를 추가한 데이터 프로파일링 엔진 사용.
**학습**: 물리적 합리성, 작업 완료를 강화하는 다차원 보상 시스템을 개발.
**하이퍼파라미터**: 구체적인 학습률, 배치 크기, 에포크 수는 명시되지 않음.

주요 결과

LingBot-Video는 기존 비디오 생성 모델 대비 물리적 합리성과 작업 완료율이 향상됨.
특정 작업 성능은 명시되지 않으나, 종합 평가를 통해 효율성과 성능이 검증됨.
LingBot-Video는 대규모 MoE 기반 비디오 기초 모델로서의 성능을 입증함.

의의 및 한계

LingBot-Video는 디지털 창의성과 물리적 실행 사이의 격차를 줄이는 데 기여하며, 실체 지능 분야에서의 비디오 생성 모델의 새로운 기준을 제시한다. 그러나 구체적인 성능 수치와 벤치마크 대비 개선 폭은 명시되지 않아, 정량적 평가의 한계가 있다. 또한, 데이터 프로파일링 엔진의 구체적인 구현 방식이나 보상 시스템의 알고리즘 세부 사항도 명시되지 않아, 재현 가능성 측면에서 개선이 필요하다.

실용적 활용

LingBot-Video는 로봇 제어, 자율 탐색, 인간-로봇 상호작용 등 실체 지능 기반의 산업 및 연구 분야에서 활용 가능하다. 특히, 물리적 환경과 상호작용이 필요한 시스템 개발에 유용할 것으로 기대된다.