BridgeWAM: Bridging Video and Action Experts via Latent Bridge Queries

World Action Models (WAMs) commonly couple video and action experts through dense, layer-wise Mixture-of-Transformers (MoT) attention, exposing action prediction to irrelevant visual features while enforcing matched expert depths. This coupling hinders selective visual-feature use and introduces redundant computation. We introduce Bridge-of-Experts (BoE), instantiated as BridgeWAM, which aggregates visual, language, and proprioceptive priors through 32 Latent Bridge Queries (LBQs) into a shared, limited latent space. Joint video-action supervision lets action gradients guide the Video Expert toward representations better suited for action prediction, while the Action Expert learns to selectively retrieve task-relevant information through cross-attention. Decoupling expert depths and reusing LBQs during action denoising yield a 5.06B model with a 30-layer Video Expert and a two-layer Action Expert, achieving 98.25% success on LIBERO and 72.24% pooled success on LIBERO-Plus, demonstrating effective task execution and strong generalization with an ultralight action head. Ablations support joint representation adaptation and unified LBQ conditioning. Relative to Fast-WAM, BridgeWAM reduces single-sample inference FLOPs by 28.72% in simulation profiling and real-robot latency to 77.1 ms (a 2.47-fold speedup). Qualitative experimental results further indicate preferential attention to target objects and task destinations across perturbations.

한 줄 요약

BridgeWAM은 32개의 Latent Bridge Queries(LBQs)를 통해 비디오와 액션 전문가를 분리하면서 성능과 추론 효율성을 동시에 달성한 World Action Model이다.

핵심 기여도

32개의 LBQs를 사용한 다중 모달 정보 집약을 통해 5.06B 파라미터의 모델로 LIBERO 데이터셋에서 98.25% 성공률 달성.
액션 전문가의 깊이를 2층으로 줄이며 비디오 전문가는 30층 유지, 파라미터 및 계산 비용 절감.
Fast-WAM 대비 단일 샘플 추론 FLOPs 28.72% 감소, 실시간 로봇 추론 지연 77.1ms (2.47배 가속).
LBQs를 재사용하는 방식으로 액션 디노이징 과정에서 계산 중복 제거.

핵심 아이디어

BridgeWAM은 기존 MoT 방식의 단점인 비디오-액션 전문가 간 1:1 층 결합과 밀집된 어텐션 기반 정보 전달을 개선한다. 대신, 32개의 LBQs를 사용하여 시각, 언어, 프로피오셉션 정보를 공유된 제한된 잠재 공간으로 집약한다. 이는 액션 전문가가 태스크 관련 정보만 선택적으로 추출할 수 있도록 도와주며, 비디오 전문가는 액션 손실 기반으로 더 효과적인 표현을 학습하게 된다. LBQs는 액션 디코딩 과정에서도 재사용되어 계산 효율성을 높인다. 이는 기존 MoT 방식에서 발생하는 불필요한 계산과 정보 혼란을 줄이는 핵심 아이디어이다.

기술적 접근법

**모델 구조**: BridgeWAM은 30층의 비디오 전문가와 2층의 교차-자기 어텐션을 사용하는 액션 전문가로 구성됨.
**LBQs**: 32개의 Latent Bridge Queries를 사용하여 시각, 언어, 프로피오셉션 정보를 공유된 잠재 공간으로 집약.
**액션-비디오 결합 방식**: 교차 어텐션을 통해 LBQs에서 정보를 추출, 액션 청크를 조정.
**하이퍼파라미터**: 5.06B 파라미터, LBQs 재사용, 28.72% FLOPs 감소, 77.1ms 로봇 추론 지연.
**학습 방식**: 액션 손실이 LBQs를 통해 비디오 전문가로 전달되어 표현 학습에 영향을 주는 방식.

주요 결과

**LIBERO 데이터셋**: 98.25% 성공률 달성.
**LIBERO-Plus 데이터셋**: 72.24% 평균 성공률.
**Fast-WAM 대비 성능**: 단일 샘플 추론 FLOPs 28.72% 감소, 로봇 추론 지연 77.1ms (2.47배 가속).
**질적 결과**: 타겟 객체와 작업 목적지에 대한 주의력이 유지됨.

의의 및 한계

BridgeWAM은 비디오-액션 전문가 간 정보 전달 방식을 혁신적으로 개선하여, 효율성과 성능을 동시에 달성한 사례로, 로봇 제어 분야에서 실용적 가치가 높다. 특히, LBQs를 통한 정보 집약과 액션-비디오 결합 방식은 기존 MoT 모델의 한계를 극복하며, 액션 헤드의 가벼움과 비디오 표현력의 유지 사이 균형을 잘 잡고 있다. 그러나 실제 로봇 작업 환경에서 복잡하고 장기적인 조작 작업에는 어려움이 있으며, Fast-WAM 기반의 불안정성도 일부 유발한다는 한계가 있다.

실용적 활용

BridgeWAM은 로봇이 시각, 언어, 프로피오셉션 정보를 통합해 실시간으로 정확한 액션을 결정해야 하는 상황, 예를 들어 산업 자동화, 서비스 로봇, 의료 로봇 분야에서 유용하게 활용될 수 있다. 특히, 추론 지연이 낮고 파라미터 수가 적은 모델은 자원 제한이 있는 로봇 시스템에 적합하다.