StreamVibe: Proactive Video Agents for Evolving User Intent

Vision-language models are shifting from offline passive understanding toward online proactive interaction. However, prevailing methods largely rely on explicit requests while miss the implicit user intent (e.g., "where should I click next?" while a user navigate a website), meanwhile fail to update the state simultaneously as user requests might update continuously. These limitations make them less suited to intent-aware interaction in practical. To address these challenges, we introduce StreamVibe-Bench, a new benchmark serving as testbed for user intent interaction, with 4.1K evaluation samples and 85K training samples spanning explicit, implicit, and dynamic intents. Building on this benchmark, we develop StreamVibe-VL, a streaming proactive model that infers implicit user intents from continuous observations and dynamically tailors its interactions as these intents evolve. We further introduce StreamVibe-Harness, which maintains user intents as persistent states with a fleixble lifecycles via a hierarchical memory to track the latest user intent and environmental state. Our experiments reveal three key findings: (i) StreamVibe-VL preserves strong general video understanding while improving response timing and answer quality by 10.7% over other baselines; (ii) existing proactive models remain limited in understanding user intent and deciding when to respond, especially under implicit and dynamic intents; and (iii) StreamVibe-Harness further improves response consistency and adaptation over sustained interaction, resulting in a 12.3% gain in proactive interaction.

한 줄 요약

StreamVibe는 유저의 암묵적이고 동적인 의도를 추적하는 실시간 비디오 에이전트를 제안하며, 12.3%의 프로액티브 상호작용 향상을 달성한다.

핵심 기여도

StreamVibe-Bench: 4.1K 평가 샘플, 85K 학습 샘플을 포함한 새로운 벤치마크를 제시.
StreamVibe-VL: 암묵적 의도를 추론하고 상호작용을 동적으로 조정하는 스트리밍 모델로, 기존 베이스라인 대비 10.7%의 성능 향상.
StreamVibe-Harness: 계층적 메모리를 활용한 지속적 상태 추적 모듈로, 12.3%의 프로액티브 상호작용 개선.
로컬화된 트래젝토리 강화 학습(RL)을 통해 상호작용이 중요한 순간에 최적화.

핵심 아이디어

기존 시각-언어 모델은 대부분 명시적 요청에 의존하며, 유저의 암묵적 의도나 동적인 변화를 실시간으로 추적하지 못한다. 이에 StreamVibe는 유저의 의도가 시간에 따라 진화하는 상황에서 지속적인 상호작용을 가능하게 한다. StreamVibe-VL은 스트리밍된 관찰을 기반으로 암묵적 의도를 추론하고, 상호작용을 동적으로 조정한다. StreamVibe-Harness는 유저 의도와 환경 상태를 계층적 메모리를 통해 지속적으로 추적하며, 이전 상호작용과 현재 맥락을 일치시키는 역할을 한다. 이는 기존 모델들이 반복적이고 오래된 응답을 내는 문제를 해결한다.

기술적 접근법

**StreamVibe-VL**: 암묵적 및 동적 의도를 처리하기 위해 **Streaming Supervised Fine-Tuning (SFT)**과 **Localized Trajectory Reinforcement Learning (RL)**을 결합.
**StreamVibe-Harness**: 유저 의도를 **계층적 메모리**를 통해 지속적으로 추적하며, **유연한 생명주기**를 통해 상태를 업데이트.
**StreamVibe-Bench**: 평가 및 학습 샘플 4.1K, 85K 포함. **Pointwise Evaluation**과 **Trajectory Evaluation**을 통해 의도 추적 능력을 평가.
**비교 실험**: **EgoProactive**, **IPIBench** 등 외부 벤치마크에서 성능 검증.

주요 결과

**StreamVibe-VL**: StreamVibe-Bench에서 기존 베이스라인 대비 **10.7%**의 응답 타이밍 및 답변 품질 향상.
**StreamVibe-Harness**: 지속적인 상호작용에서 **12.3%**의 프로액티브 상호작용 개선.
**EgoProactive** 및 **IPIBench**에서 다른 모델 대비 일관된 성능 향상.
**Content F1**과 **응답 품질 점수 (0–4)**에서 상위 성적.

의의 및 한계

StreamVibe는 유저 의도가 암묵적이고 동적인 상황에서 실시간 상호작용을 가능하게 하는 첫 번째 연구로, **계층적 메모리**와 **로컬 트래젝토리 RL**을 통해 반복적, 오래된 응답을 줄이는 데 성공했다. 그러나 현재 설정은 **더 복잡한 의도-환경 피드백**을 다루지 못하며, **더 긴 시간 범위에서의 상호작용** 연구가 필요하다. 또한, **프로덕션 환경에서의 확장성**과 **실시간 처리 능력**에 대한 평가도 추가 연구 주제로 제시된다.

실용적 활용

StreamVibe는 웹 탐색, 스트리밍 콘텐츠 추천, 인터랙티브 교육 플랫폼 등에서 유저의 암묵적 의도를 실시간으로 추적하고 적응하는 데 활용 가능하다. 특히, **사용자 경험(UX) 최적화**와 **자동화된 고객 지원 시스템**에서 유용할 것으로 기대된다.