Self in Space: Benchmarking Self-Awareness and Spatial Cognition in UAV Embodied Intelligence

Autonomous UAV systems increasingly rely on multimodal large language models (MLLMs) to operate in complex real-world environments. Such embodied scenarios require not only understanding the surrounding space but also maintaining a coherent representation of the agent itself. However, existing UAV-oriented approaches and benchmarks remain largely environment-centric, primarily focusing on spatial understanding tasks, with the agent's self-awareness remaining implicit. To address this gap, we introduce SIS-Bench, a benchmark for evaluating embodied spatial intelligence in UAV scenarios under a unified self-in-space formulation. SIS-Bench organizes evaluation along two complementary dimensions, space and self, and a three-level hierarchy of perception, memory, and reasoning. It contains 4,856 question--answer pairs across 13 tasks derived from 1,646 real-world UAV videos through a task-conditioned construction pipeline with expert verification.Extensive evaluations reveal that current MLLMs exhibit fundamental limitations in modeling dynamic and agent-centered processes. In particular, we observe a clear imbalance between spatial cognition and self-awareness, as well as a progressive performance degradation across cognitive levels.Motivated by these findings, we further explore a motion-aware representation that incorporates self-related dynamics through optical flow and visual feature fusion. Experimental results show that modeling agent motion consistently improves perception and memory performance, not only in spatial cognition but also in self-awareness, and generalizes to downstream UAV decision-making tasks.Our results highlight the importance of self-awareness for advancing embodied spatial intelligence, and provide both a new benchmark and empirical evidence for motion-aware self-in-space modeling.

한 줄 요약

SIS-Bench는 UAV 시나리오에서 공간 인지와 자기 인식을 평가하는 새로운 벤치마크로, MLLM의 자기 인식 부족과 인지 계층별 성능 저하를 밝혀내며, motion-aware 표현이 이를 개선함을 보인다.

핵심 기여도

SIS-Bench: 1,646개의 실제 UAV 비디오에서 4,856개의 QA 쌍을 생성한 벤치마크, 공간 인지와 자기 인식을 평가.
26개 MLLM 평가 결과: 자기 인식 성능이 공간 인지보다 낮고, 인지 계층(perception → memory → reasoning)에서 점진적 성능 저하 관찰.
SIS-Motion: optical flow와 시각 특징을 결합한 motion-aware 표현 도입, SIS-Bench에서 10% 이상 성능 향상.
UAV 내비게이션 작업으로의 전이 성능 증명.

핵심 아이디어

기존 UAV MLLM 연구는 주로 환경 인지에 집중했으나, 실제 작동에서는 UAV 자체의 상태와 동작을 이해하는 자기 인식(self-awareness)이 필수적이다. 이를 위해 SIS-Bench는 공간(space)과 자기(self)라는 두 차원, 그리고 인지 계층(perception, memory, reasoning)을 기준으로 평가를 구조화했다. 연구는 MLLM이 자기 인식을 부족하게 모델링하고 있음을 밝히고, 이를 motion-aware 표현을 통해 개선할 수 있음을 제시한다. 특히, optical flow 기반의 움직임 정보가 시각 특징과 결합될 때, UAV의 자기 상태와 환경을 통합적으로 이해하는 데 도움이 된다는 점이 핵심 통찰이다.

기술적 접근법

**SIS-Bench 구성**: 1,646개의 실제 UAV 비디오를 기반으로 13개 태스크, 4,856개의 QA 쌍 생성. 전문가 검증을 통한 task-conditioned pipeline 사용.
**평가 모델**: 26개의 video-capable MLLM 평가 (6개 프로퍼티어리, 20개 오픈소스).
**프레임 샘플링**: 32개 프레임 제한, 1~2 FPS로 적응적 샘플링.
**SIS-Motion**: optical flow와 시각 특징을 결합한 motion-aware 표현. fine-tuning을 통해 SIS-Motion-54K 데이터셋 사용.

주요 결과

**전체 정확도**: 인간 상한선 91.7% 대비 최고 모델 71.6% (20% 이상 차이).
**자기 인식 vs 공간 인지**: 대부분의 모델에서 자기 인식 태스크 성능이 낮음 (예: Act Recog 54.3%, Obj Exist 78.1%).
**인지 계층별 성능 저하**: perception (73.2%) → memory (62.1%) → reasoning (51.4%) 순으로 점진적 감소.
**SIS-Motion 성능**: motion-aware 표현 도입으로 자기 인식 태스크에서 평균 10.2% 성능 향상, 내비게이션 작업으로의 전이 성능 증가.

의의 및 한계

SIS-Bench는 UAV 시나리오에서 공간 인지와 자기 인식을 체계적으로 평가할 수 있는 첫 번째 벤치마크로, MLLM의 자기 인식 부족을 명확히 드러내며, motion-aware 표현의 중요성을 실증한다. 특히, SIS-Motion은 기존 모델에서의 인지 계층별 성능 저하를 완화시키며, 내비게이션 작업으로의 전이 가능성을 제시한다. 그러나 SIS-Motion은 기존 모델에 motion 정보를 추가한 실험적 확장으로, 독립적인 모델 아키텍처는 아니다. 또한, 벤치마크는 실제 환경에서의 실시간 작동 성능을 반영하지 못할 수 있다.

실용적 활용

SIS-Bench는 UAV 자율 내비게이션, 인프라 점검, 응급 대응 등에서 MLLM 기반 시스템의 자기 인식 능력을 평가하는 데 활용 가능하다. SIS-Motion은 UAV의 동작 이해와 환경 해석을 동시에 강화하여, 실시간 의사결정 및 경로 계획에 기여할 수 있다.