Time-Varying Deep State Space Models for Sequences with Switching Dynamics

Sanja Karilanova, Subhrakanti Dey, Ayça Özçelikkale

arXiv:2605.15311 · 2026-05-18 공개 · arXiv · PDF

neural-networks state-space-models signal-processing basis-functions time-invariant-models time-varying-ssm switching-dynamics speech-denoising

Abstract

The identification and modeling of time-varying systems is a fundamental challenge in signal processing and system identification. To address this challenge, we propose a class of time-varying state-space model (SSM) based neural networks in which the neurons' states are governed by time-varying dynamics. The proposed model provides the learnable time-varying dynamics through a dictionary of basis functions, where each basis function evolves differently over time. We evaluate the proposed approach on both synthetic data from switching systems and a speech denoising task where real audio is corrupted with switching dynamics noise. The results show that the proposed time-varying model consistently outperforms its time-invariant counterparts while maintaining comparable computational complexity. Our investigations also reveal which aspects of the time-varying dynamics of the data most need to be captured by the proposed time-invariant models, how the additional freedom provided by time-varying basis functions should be allocated across model components, and to what extent larger models can compensate for time-invariant limitations.

한국어 요약

📋 한 줄 요약

**[신호처리 / 시계열 모델링]** 학습 가능한 시변 기저함수를 통해 뉴런 상태가 시변 동역학으로 지배되는 시변 상태공간 신경망(time-varying SSM)을 제안하고, 스위칭 동역학 시퀀스에서 시불변 대안 대비 우월함을 입증.

🎯 핵심 기여도

💡 핵심 아이디어

스위칭 동역학이 있는 시퀀스는 단일 고정 SSM으로는 본질적으로 표현이 어렵다. 시변 기저함수의 사전을 학습하면, 다양한 시간 영역에서 활성화되는 동역학을 분해 표현할 수 있어 표현력은 늘리되 계산 복잡도는 유사하게 유지할 수 있다.

🔬 기술적 접근법

📊 주요 결과

💭 의의 및 한계

**의의**: 시변 시스템에 대한 신경 SSM 설계 원칙을 명확히 정립하고, 계산 복잡도를 유지하면서 표현력을 확장하는 실용적 방향성을 제시. **한계**: 기저함수 사전 크기·형태가 도메인 의존적일 수 있고, 매우 빠르거나 비주기적인 스위칭 환경에서의 일반화 성능은 추가 검증 필요.

🚀 실용적 활용