Efficient Streaming Audio-Visual Target Speaker Extraction for Real-World Acoustic Scenes

Streaming audio-visual target speaker extraction (AVTSE) is essential for latency-sensitive applications. However, current causal systems face two coupled gaps. First, standard benchmarks fix the number of speakers at two and ignore the near-/far-field interference, reverberation, and sudden noise of real scenes. Second, high-performance causal architectures are too heavy for edge deployment. Lightweight alternatives try to reclaim capacity by repeatedly invoking a small separator, which offsets the savings. To address the first gap, we release RealSSA, a realistic AVTSE benchmark consisting of RealSSA-Sim and RealSSA-Real. RealSSA-Sim provides controllable simulated scenes with 1--5 dynamic near-field interfering speakers; scenes with far-field interference additionally include 10--15 far-field interfering speakers. RealSSA-Real provides a held-out real-recorded evaluation set. To address the second gap, we propose Falcon, a causal AVTSE method. Its Separator performs multi-scale time-frequency separation in a single encoder--decoder pass. We train Falcon with an encoder-space speaker contrastive loss. This loss suppresses near-field leakage at zero inference cost and transfers across backbones. Falcon achieves state-of-the-art extraction quality on RealSSA-Sim, LRS2-2Mix, LRS3-2Mix, and VoxCeleb2-2Mix. Compared with the causal AV-TFGridNet baseline, it cuts parameters by 91.9%, computation by 20.2 times, and GPU inference latency by 11.1 times. Code and demo are available at https://cslikai.cn/Falcon/.

한 줄 요약

Falcon은 실시간 AVTSE에서 91.9% 파라미터 감소와 20.2× 계산량 절감을 달성한 효율적 모델이며, RealSSA는 실제 환경을 반영한 새로운 평가 기준이다.

핵심 기여도

**RealSSA**: 1–5개의 근거리, 10–15개의 원거리 방해 발화자를 포함한 실제 환경을 시뮬레이션한 AVTSE 벤치마크를 제안.
**Falcon**: 단일 인코더-디코더 패스로 다중 시간-주파수 분리 수행.
**Encoder-space speaker contrastive loss**: 인코더 공간에서 근거리 방해음을 억제하며 추론 비용 0% 추가.
**성능 개선**: AV-TFGridNet 대비 파라미터 91.9%, 계산량 20.2×, GPU 추론 지연 11.1× 감소.

핵심 아이디어

기존 AVTSE 연구는 2명 발화자만 고려하는 제한된 환경에서 평가되며, 실제 음향 조건(근거리/원거리 방해, 갑작스러운 소음 등)을 반영하지 못했다. 또한, 높은 성능을 보이는 모델은 에지 기기에서 사용하기엔 너무 무겁고, 가벼운 대안은 반복적인 분리 모듈 호출로 효율성이 떨어졌다. 이를 해결하기 위해, Falcon은 단일 인코더-디코더 패스로 다중 시간-주파수 스케일 분리를 수행하며, 인코더 공간에서 근거리 방해음을 억제하는 새로운 손실 함수를 도입했다. 이 손실은 추론 시 추가 비용 없이 적용되며, 다양한 백본 모델로 전이 가능하다는 장점이 있다.

기술적 접근법

**Falcon Separator**: 단일 인코더-디코더 패스로 주파수, 시간, 시간-주파수 결합 모델링 수행.
**Encoder-space speaker contrastive loss**: STFT 인코더 공간에서 정답과 근거리 방해자 간 대비 학습.
**STFT 인코더 설정**: 256 윈도우 크기, 128 홉 (8ms), 3채널 입력 (실수, 허수, 크기).
**하이퍼파라미터**: AdamW 최적화, 학습률 1×10⁻³, 가중치 감소 0.01, 15 에포크마다 학습률 절반, 30 에포크 조기 중단.
**평가 지표**: SI-SNRi, SDRi, DNSMOS, NISQA, WER, ResNet34 기반 목소리 유사도.

주요 결과

**RealSSA-Sim**: Falcon은 LRS2-2Mix, LRS3-2Mix, VoxCeleb2-2Mix에서 최고 성능 달성.
**성능 개선**: AV-TFGridNet 대비 파라미터 91.9% 감소, 계산량 20.2×, GPU 추론 지연 11.1× 감소.
**RealSSA-Real**: 실제 녹음 평가에서도 경쟁력 있는 인식 정확도(WER)와 목소리 유사도 유지.

의의 및 한계

Falcon은 실시간 AVTSE에서 높은 추출 정확도와 낮은 계산 비용을 동시에 달성하여, 에지 기기에서의 실용성을 높였다. RealSSA는 실제 음향 조건을 반영한 첫 번째 AVTSE 벤치마크로, 모델의 일반화 능력을 평가하는 기준을 제시한다. 그러나 Falcon의 인코더-디코더와 손실 함수는 단일 채널만 처리하며, 멀티채널 확장은 향후 연구가 필요하다. 또한, RealSSA-Real은 10명의 참여자와 8개 환경에서 84분 분량만 제공하며, 더 큰 규모의 확장이 필요하다.

실용적 활용

Falcon은 영상 회의, 청각 보조 장치 등 지연에 민감한 응용 분야에서 사용 가능하다. RealSSA는 AVTSE 모델의 실제 환경 적응성을 평가하는 데 활용될 수 있으며, 연구자들이 실제 음향 조건을 고려한 모델 개발을 촉진할 수 있다.