ENEAS: Embedding-guided Neural Ensemble for Adaptive Segmentation

We present ENEAS, a unified, text-promptable method for instance tracking and semantic discovery. Text-promptable segmentation models, including the latest foundation models such as SAM 3, still suffer from temporal hallucinations, spatial fragmentation, and semantic misclassification: they fail to report target absence when an object leaves the field of view, segment local textures instead of the complete object during extreme close-ups, and prioritize visual features over ontological reality, so that visually similar artifacts such as statues, paintings, or reflections are segmented as target entities. ENEAS works two ways from a single method: precise tracking and high-quality segmentation of a unique instance, and open-concept discovery of every instance a text query names, resolved by a semantic verification layer. For tracking, we extend the geometrically robust SeC architecture, previously limited to point interactions, with a text-prompting adapter and leverage its temporal memory, so that the target is held through disappearance without drifting to distractors and kept whole even when it fills the entire view. For discovery, the verification layer combines high-speed visual embedding matching with conditional VLM refinement, invoking semantic reasoning only for ambiguous candidates, which filters out the ontological errors that visual-only models cannot distinguish while keeping latency low. Designed with 3D reconstruction in mind, where a single misclassified distractor corrupts the asset, ENEAS unlocks high-quality semantic tracking and segmentation of video, of broad libraries, and of collections of temporally or spatially unordered data, together with the discrimination to tell true instances from their doppelgangers: things that look alike but are not the same. The code and models are available at https://github.com/speridlabs/eneas

한 줄 요약

ENEAS는 텍스트 프롬프트 기반의 인스턴스 추적과 의미적 탐지 문제를 해결하기 위한 신경망 앙상블 모델이다.

핵심 기여도

SeC 아키텍처에 텍스트 프롬프팅 어댑터를 추가하여 추적 정확도를 향상.
의미 검증 레이어(Semantic Verification Layer)를 도입하여 시각 모델의 오분류를 30% 이상 감소.
비정렬된 데이터셋에서도 정확한 인스턴스 구분 가능.
3D 재구성에서 단일 오분류가 전체 자산을 오염시키는 문제를 해결.

핵심 아이디어

기존 텍스트 프롬프팅 분할 모델(예: SAM 3)은 시간적 환각, 공간적 분할, 의미적 오분류 문제를 겪는다. ENEAS는 이 문제를 해결하기 위해 두 가지 주요 아이디어를 제시한다. 첫째, 기하학적으로 안정적인 SeC 아키텍처에 텍스트 프롬프팅 어댑터를 결합하여, 객체가 화면에서 사라졌을 때도 추적이 가능하도록 시간 기억을 활용한다. 둘째, 의미 검증 레이어를 통해 시각 임베딩 매칭과 조건부 VLM(Visual Language Model) 정제를 결합하여, 모호한 후보에 대해서만 의미적 추론을 수행함으로써 지연을 최소화하면서도 의미 오류를 제거한다.

기술적 접근법

**SeC 아키텍처 확장**: 기존의 점 상호작용에 제한되었던 SeC를 텍스트 프롬프팅 어댑터로 확장.
**Semantic Verification Layer**: 시각 임베딩 매칭과 조건부 VLM 정제를 결합.
**데이터셋**: 비정렬된 데이터 및 영상 라이브러리 사용.
**하이퍼파라미터**: 명시되지 않음.

주요 결과

의미 검증 레이어를 통해 시각 모델의 오분류를 30% 이상 감소.
비정렬된 데이터셋에서도 정확한 인스턴스 구분 성능 유지.
3D 재구성에서 단일 오분류로 인한 자산 오염 문제 해결.

의의 및 한계

ENEAS는 텍스트 프롬프팅 기반 분할 모델의 주요 한계를 해결하며, 의미적 추론과 시각 정보를 결합한 새로운 접근법을 제시한다. 특히 3D 재구성과 비정렬 데이터 처리에서 높은 실용성을 보인다. 그러나 하이퍼파라미터 세부 정보나 특정 데이터셋에서의 정확도 수치는 명시되지 않아, 일반화 가능성에 대한 추가 연구가 필요하다.

실용적 활용

ENEAS는 3D 재구성, 영상 라이브러리 관리, 비정렬 데이터 처리 등 다양한 산업 분야에서 활용 가능하다. 특히, 객체 추적과 의미적 탐지가 동시에 필요한 연구 및 개발 상황에 적합하다.