MOSS-VL Technical Report

We present MOSS-VL, an open vision-language model family that treats real-time interaction -- perceiving while it speaks -- as a first-class capability. It is co-designed across the stack: the language decoder attends to vision only through gated cross-attention, so the model can naturally see incoming frames while generating; a synthesized interaction corpus supervises when to speak, when to stay silent, and when to revise; and a staged curriculum concentrates all real-time-specific training in one light final stage over a strong offline foundation. Offline, MOSS-VL-Instruct is competitive at comparable scale and leads temporal-reasoning video sets. Across four streaming benchmarks, MOSS-VL-Realtime posts the best average on three (second on the fourth) among open-source streaming models, sweeping the three subsets that squarely test proactive behavior -- 66.0 vs. 37.5 for the best baseline on OmniMMI Proactive Alerting. With 11.3B parameters but visual tokens outside the decoded sequence, MOSS-VL widens its time-to-first-token advantage over same-backbone Qwen3-VL-8B from 2.8x to 5.1x as visual context grows. We release all five checkpoints, the training curriculum, and the real-time inference code at https://github.com/OpenMOSS/MOSS-VL.

한 줄 요약

MOSS-VL은 실시간 영상-언어 상호작용을 핵심 기능으로 설계된 오픈 소스 모델로, 11.3B 파라미터와 게이티드 크로스-어텐션을 통해 OmniMMI Proactive Alerting에서 66.0 점을 달성했다.

핵심 기여도

게이티드 크로스-어텐션과 XRoPE를 통해 영상 토큰이 디코딩 시퀀스에 포함되지 않아 실시간 인식 가능
실시간 상호작용을 학습하는 합성 코퍼스와 Realtime-SFT(3% 미만의 토큰)를 도입
OmniMMI Proactive Alerting에서 66.0 점 (베이스라인 대비 +28.5) 기록
Qwen3-VL-8B 대비 5.1× 빠른 time-to-first-token 성능 보여

핵심 아이디어

MOSS-VL은 기존 모델들이 영상 클립을 전부 읽고 답변하는 오프라인 방식을 벗어나, 영상이 도착하는 동안 답변을 생성하는 실시간 상호작용(L5)을 핵심 기능으로 설계했다. 이는 단일 구성요소가 아닌 전체 스택(아키텍처, 데이터, 학습 전략)의 협업 설계(co-design)를 통해 달성된다. 게이티드 크로스-어텐션을 통해 영상 토큰이 디코딩 시퀀스에 포함되지 않고, XRoPE와 절대 타임스탬프 토큰을 통해 텍스트와 영상이 동일한 타임라인 상에 배치된다. 합성된 실시간 상호작용 코퍼스는 언제 말할지, 언제 침묵할지, 언제 답변을 수정할지를 학습하게 한다. Realtime-SFT는 3% 미만의 토큰으로 실시간 특화 학습을 수행하며, 기존 오프라인 모델과 동일한 가중치를 사용해 운영 모드를 유연하게 전환한다.

기술적 접근법

**아키텍처**: Qwen3-8B 언어 디코더와 네이티브 해상도 시각 인코더를 결합, 영상 토큰은 크로스-어텐션 키/값으로만 사용됨
**데이터**: 합성된 실시간 상호작용 코퍼스를 사용, 답변 타이밍을 학습
**학습 전략**: 4단계 사전 학습 + Realtime-SFT(최종 단계), Realtime-SFT는 3% 미만의 토큰으로 수행
**하이퍼파라미터**: 11.3B 파라미터, 영상 토큰은 디코딩 시퀀스에 포함되지 않음
**추가 기술**: XRoPE, 절대 타임스탬프 토큰, 게이티드 크로스-어텐션, FlashAttention-3 백엔드 확장

주요 결과

**OmniMMI Proactive Alerting**: 66.0 점 (베이스라인 대비 +28.5)
**4개 스트리밍 벤치마크**: 3개에서 1위, 1개에서 2위
**Qwen3-VL-8B 대비 time-to-first-token**: 2.8× → 5.1× 개선 (영상 컨텍스트 증가에 따라)
**오프라인 성능**: Minerva, TOMATO, VideoMME-Logical에서 우수

의의 및 한계

MOSS-VL은 실시간 상호작용을 위한 체계적인 설계를 통해 기존 오프라인 및 스트리밍 모델의 한계를 극복했다. 특히, 게이티드 크로스-어텐션과 XRoPE를 통해 영상 인식과 답변 생성을 동시에 수행할 수 있으며, 합성 코퍼스와 Realtime-SFT를 통해 실시간 답변 타이밍을 학습한다. 그러나, 고난이도 추론 테스트(MMMU)나 문서 중심 벤치마크에서 뒤처지는 한계가 있으며, L5 수준의 정량적 평가가 부재하다. 또한, 모델은 '생각 모드' 없이 실시간 영상 이해에 최적화되어 있어, 추론 중심의 작업에는 적합하지 않을 수 있다.

실용적 활용

MOSS-VL은 실시간 영상 분석이 필요한 산업(예: 보안, 자율주행, 스트리밍 플랫폼)에 적용 가능하며, 특히 영상 인식과 답변 생성을 동시에 수행해야 하는 상황에서 유용하다. 또한, 실시간 인터페이스 개발자나 영상-언어 모델 연구자에게 개방된 체크포인트와 코드를 통해 활용 가능하다.