Vinci2: Providing Proactive Assistance in Continuous Egocentric Videos

When should an intelligent assistant speak up without being asked? Continuous egocentric video offers rich, evolving context that enables a new form of assistance: one that is proactive rather than merely reactive. Yet existing approaches either wait passively for user queries or treat every detected event as requiring a response, without considering the user's history, current activity, or whether assistance would actually be welcome. We reframe proactive assistance as a context-dependent decision problem: the agent must not only perceive what is happening, but reason over accumulated temporal context to determine when and whether to intervene. To this end, we present Vinci2, a proactive egocentric assistance system that advances the on-device assistant Vinci from reactive response toward proactivity. On the evaluation side, we present EgoServe, the first large-scale benchmark for proactive assistance in continuous egocentric video. EgoServe comprises over 3,000 service instances organized along 4 temporal memory horizons, ranging from immediate safety alerts to long-term habit coaching, across 10 service categories. On the modeling side, we propose EgoMemo, a training-free, memory-augmented agent that maintains three complementary memory representations: multi-scale temporal summaries, a semantic knowledge graph, and visual embedding archives. At each timestep, EgoMemo performs retrieval-augmented reasoning to determine whether assistance is warranted and, if so, produces contextually grounded responses. Experiments demonstrate that EgoMemo establishes strong baselines on EgoServe while remaining competitive on existing egocentric benchmarks. Our benchmark and code are publicly available at https://sitonggong.github.io/EgoServe-page/{Vinci2}.

한 줄 요약

Vinci2는 지속적인 1인칭 비디오에서 사용자의 히스토리와 현재 활동을 고려해 적절한 시점에 개입하는 프로액티브 보조 시스템으로, EgoMemo와 EgoServe를 제시한다.

핵심 기여도

**EgoMemo**를 제안: 훈련 없이 작동하는 메모리 증강 에이전트로, 다중 스케일 타임라인 요약, 의미 그래프, 시각 임베딩 아카이브를 유지하며, **검색 증강 추론**(retrieval-augmented reasoning)을 통해 개입 여부를 결정.
**EgoServe** 제시: 1,000시간 이상의 1인칭 비디오에서 3,000개 이상의 서비스 인스턴스를 포함한, **4개의 시간 기억 범위**(즉각적 안전 경고부터 장기 습관 코칭까지)와 **10개 서비스 카테고리**로 구성된 첫 대규모 프로액티브 보조 평가 벤치마크.
**Vinci2**는 기존 반응형 시스템(Vinci)을 **프로액티브**(proactive) 시스템으로 발전시킨 첫 사례로, **온디바이스**(on-device) 환경에서 작동 가능.

핵심 아이디어

기존 1인칭 비디오 보조 시스템은 사용자의 명시적 요청에 반응하거나, 특정 이벤트 감지 시 무조건 개입하는 방식을 따르며, 사용자의 히스토리나 현재 활동, 개입이 필요한지 여부를 고려하지 않는다. 이에 반해, **Vinci2는 프로액티브 보조를 ‘문맥에 의존한 결정 문제’**(context-dependent decision problem)로 재정의한다. 에이전트는 단순히 환경을 인지하는 것을 넘어, **시간에 걸친 누적된 문맥**(accumulated temporal context)을 기반으로 언제, 어떻게 개입할지 판단해야 한다.

이를 실현하기 위해 **EgoMemo**는 **3가지 메모리 표현**(multi-scale temporal summaries, semantic knowledge graph, visual embedding archives)을 유지하며, 각 타임스텝에서 **검색 증강 추론**(retrieval-augmented reasoning)을 수행한다. 이는 단순히 이벤트를 감지하는 것이 아니라, **과거의 활동 패턴, 의미적 관계, 시각적 유사성**을 종합적으로 고려해 개입 여부를 결정하는 새로운 접근법이다.

기술적 접근법

**EgoMemo**는 훈련 없이 작동하며, **3가지 메모리 표현**을 유지:

1. **다중 스케일 타임라인 요약**(multi-scale temporal summaries): 클립 수준, 활동 수준, 세션 수준의 요약을 계층적으로 구성.
2. **의미 그래프**(semantic knowledge graph): 엔티티 간 관계와 활동 패턴을 인코딩.
3. **시각 임베딩 아카이브**(visual embedding archives): 시각적 유사성을 기반으로 정보 검색.

**검색 증강 추론**(retrieval-augmented reasoning): 각 타임스텝에서 3가지 메모리 경로(시간, 의미, 시각)를 병렬적으로 검색하여, **문맥 기반의 개입 여부 결정**.
**EgoServe**는 **4개의 시간 기억 범위**(immediate safety alerts, short-term reminders, mid-term habit tracking, long-term habit coaching)와 **10개 서비스 카테고리**로 구성된 **3,000개 이상의 서비스 인스턴스**를 포함.

주요 결과

**EgoMemo**는 EgoServe에서 **F1 8.0**을 달성하며, **기존 반응형 시스템**(reactive) 대비 **+1.4~+5.8% 개선**.
**Memory Recall**과 **Memory Link** 지표에서 각각 **4.9, 11.8**을 기록하며, **Routine Optimization**에서는 **11.8**을 달성.
**각 모듈 제거 실험**(ablation study)에서, **캡션 재구성**(caption reconstruction)과 **의미 그래프 검색**(graph semantic retrieval)이 가장 큰 영향을 미치며, **시각 임베딩 아카이브**(visual embedding archive)는 **Memory Link**와 **Routine Optimization**에서 **+1.7~+5.4% 개선** 기여.

의의 및 한계

**Vinci2**는 1인칭 비디오에서 **프로액티브 보조**(proactive assistance)를 평가하고 구현할 수 있는 첫 대규모 벤치마크(EgoServe)와 모델(EgoMemo)을 제시하며, **온디바이스**(on-device) 환경에서 작동 가능하다는 점에서 실용적 가치가 높다.
그러나 **EgoMemo**는 **캡션 기반 메모리**로 인해 **세부 시각 정보**(fine-grained visual details)를 잃고, **이름 기반 엔티티 분해**(name-based entity resolution)가 **시각적으로 모호한 엔티티**(visually ambiguous entities)에 실패할 수 있다.
또한, **반자동화된 어노테이션 파이프라인**(semi-automated annotation pipeline)은 특정 유형의 서비스에 편향될 수 있으며, **사용자 선호도**(human preferences)나 **오디오 컨텍스트**(audio context)를 고려하지 못하는 한계가 있다.

실용적 활용

**개인 건강 관리**(habit coaching), **안전 경고**(safety alerts), **실시간 활동 추적**(real-time activity tracking) 등에서 활용 가능.
**스마트 글라스**(smart glasses)나 **웨어러블 기기**(wearable devices)와 결합해 **실시간으로 사용자에게 도움**을 제공할 수 있으며, **장기적인 행동 변화**(long-term behavior change) 유도에 기여할 수 있다.