AnyMo: Geometry-Aware Setup-Agnostic Modeling of Human Motion in the Wild

As wearable and mobile devices become increasingly embedded in daily life, they offer a practical way to continuously sense human motion in the wild. But inertial signals are highly dependent on the sensing setup, including body location, mounting position, sensor orientation, device hardware, and sampling protocol. This setup dependence makes it difficult to learn motion representations that transfer across devices and datasets, and limits the broader use of wearable IMUs beyond closed-set recognition. We introduce AnyMo, a geometry-aware framework for setup-agnostic human motion modeling. AnyMo uses physics-grounded IMU simulation over dense body-surface placements to generate diverse and plausible synthetic signals, pre-trains a graph encoder from paired synthetic placement views and masked partial observations, tokenizes multi-position IMU into full-body motion tokens, and aligns these tokens with an LLM for motion-language understanding. We evaluate AnyMo on three complementary tasks: zero-shot activity recognition across 14 unseen downstream datasets, cross-modal retrieval, and wearable IMU motion captioning, where it improves average Accuracy/F1/R@2 by 11.7\%/11.6\%/22.6\% on HAR, increases zero-shot IMU-to-text and text-to-IMU retrieval MRR by 15.9\% and 28.6\%, respectively, and improves zero-shot captioning BERT-F1 by 18.8\%. These results support AnyMo as a generalist model for wearable motion understanding in the wild. Project page: https://baiyuchen.com/project/AnyMo.

한 줄 요약

**[웨어러블 IMU / Setup-Agnostic Motion Model]** AnyMo가 dense body-surface IMU 시뮬레이션·placement 그래프 인코더·LLM 정렬로 setup 의존성 극복, 14 unseen 데이터셋에서 zero-shot HAR Acc/F1/R@2 +11.7/11.6/22.6%·IMU↔text retrieval MRR +15.9/28.6%·captioning BERT-F1 +18.8%.

핵심 기여도

웨어러블·모바일 기기가 일상에 깊이 임베드되며 in-the-wild 사람 동작 연속 센싱의 실용 경로를 제공하지만, inertial signal이 body location·mounting position·sensor orientation·device hardware·sampling protocol 등 sensing setup에 크게 의존함을 진단.
이 setup 의존성이 device·dataset 간 전이 가능 모션 표현 학습을 어렵게 하고 closed-set recognition을 넘어선 활용을 제한.
AnyMo — geometry-aware·setup-agnostic 인간 동작 모델링 프레임워크 도입.
AnyMo는 dense body-surface placement에 대한 physics-grounded IMU 시뮬레이션으로 다양·plausible 합성 신호 생성, paired synthetic placement view·masked partial observation에서 graph encoder pretraining, multi-position IMU를 full-body motion token으로 토크나이즈, 이 token을 LLM과 정렬해 motion-language understanding 수행.

핵심 아이디어

웨어러블 IMU의 setup 의존성은 dense body-surface placement에 대한 physics-기반 시뮬레이션으로 충분히 합성하고, paired placement view·masked observation에서 그래프 인코더를 사전학습하면 zero-shot으로 unseen device·dataset에 전이 가능한 generalist motion 모델을 만들 수 있다.

기술적 접근법

**방법론**: AnyMo — physics-grounded simulation + graph encoder + LLM alignment.
**핵심 기법**: (1) Dense body-surface placement에 대한 physics-grounded IMU 시뮬레이션으로 합성 신호 생성, (2) Paired synthetic placement view·masked partial observation으로 그래프 인코더 사전학습, (3) Multi-position IMU를 full-body motion token으로 토크나이즈, (4) Motion token을 LLM과 정렬, (5) Zero-shot HAR·cross-modal retrieval·motion captioning 3 task 평가.

주요 결과

14 unseen downstream 데이터셋의 zero-shot activity recognition에서 평균 Accuracy/F1/R@2 +11.7%/11.6%/22.6%.
Zero-shot IMU-to-text·text-to-IMU retrieval MRR +15.9%·+28.6%.
Zero-shot wearable IMU motion captioning BERT-F1 +18.8%.
Project page: baiyuchen.com/project/AnyMo.

의의 및 한계

**의의**: 웨어러블 모션 이해의 generalist 모델로의 전환, physics-grounded simulation의 setup-agnostic 합성으로 데이터 비용 절감, LLM 정렬로 motion-language 인터페이스 가능, 14 unseen dataset의 zero-shot 검증으로 일반화 입증. **한계**: 시뮬레이션 충실성에 의존, motion-language LLM의 hallucination 위험, 매우 비전형적 device·sensor의 sim-to-real gap.

실용적 활용

웨어러블 device의 zero-shot HAR·motion 이해.
IMU 기반 motion-language 인터페이스.
건강·재활·스포츠 분석의 device-agnostic 모션 인식.