A Common Measure of Communication for Speech Brain-Computer Interfaces

Speech brain-computer interfaces (speech BCIs) translate neural activity into language, offering a path towards restoring speech for people with paralysis and, more broadly, enabling new forms of natural human-computer interaction. Despite this promise, the field lacks a common measure of progress because systems use different datasets, recording methods, types of speech, and vocabularies, so their reported scores are rarely comparable. Underlying this measurement problem are two unresolved questions: (i) what distribution of words should a speech BCI enable a user to communicate, and (ii) how much information from this distribution can a system convey. We address both by deriving open-vocabulary mutual information (OVMI), an information-theoretic quantity that measures the information conveyed by a decoder relative to a reference distribution over the words a user may wish to communicate. This allows capabilities measured under different conditions, such as distinct vocabularies, to be evaluated on a common communication scale. We show that ordinarily reported accuracy, word error rate (WER), and other metrics computed only over the words a system supports can overstate how much of a user's intended speech the system can communicate. We then use OVMI to compare existing systems, expose trade-offs between how much of the user's language a system supports and how accurately it decodes those words, show that these comparisons depend on what the user is expected to communicate, and demonstrate that selecting a vocabulary to maximise OVMI yields up to 16.3% relative improvement in accuracy across three speech domains. OVMI therefore provides the speech BCI community with a principled way to compare heterogeneous systems, improve vocabulary design, and measure progress in the field.

한 줄 요약

OVMI는 다양한 환경에서의 스피치 BCI 성능을 비교할 수 있는 정보 이론적 지표로, 기존 정확도 대비 최대 16.3% 개선 효과를 보인다.

핵심 기여도

**OVMI**(Open-Vocabulary Mutual Information)라는 새로운 정보 이론적 지표를 제안하여, 다양한 단어 집합에서의 BCI 성능을 비교 가능하게 함.
기존 정확도(Accuracy)나 WER는 단어 집합에 의존하여 실제 사용자의 의도를 과대평가할 수 있음을 밝힘.
OVMI 기반 단어 집합 선택이 세 가지 스피치 도메인에서 최대 **16.3%**의 상대적 정확도 개선을 유도함.
기존 시스템 비교에서 OVMI를 활용하여 단어 지원 범위와 정확도 간의 트레이드오프를 드러냄.

핵심 아이디어

기존 스피치 BCI 연구는 서로 다른 데이터셋, 단어 집합, 기록 방식을 사용하여 성능 비교가 어려웠다. 이에 따라, 사용자가 전달하고자 하는 단어의 분포를 **참조 분포**(reference distribution $ p $)로 모델링하고, 디코더가 전달하는 정보량을 **OVMI**로 정량화하는 것이 핵심 아이디어이다. OVMI는 디코더 출력이 참조 분포에 대해 얼마나 불확실성을 줄이는지를 측정하는 정보 이론적 지표로, 단어 집합에 의존하지 않으며, 다양한 환경에서의 비교가 가능하다. 이는 기존 정확도나 WER가 단어 집합에 조건을 두고 평가되기 때문에 실제 사용자의 의도를 과대평가할 수 있다는 문제를 해결한다.

기술적 접근법

**OVMI**는 디코더 출력과 참조 분포 $ p $ 간의 **상호 정보**(mutual information)를 계산하여 정보 전달량을 측정.
참조 분포 $ p $는 **SUBTLEX-UK** 데이터셋의 영화 및 드라마 대사 빈도를 기반으로 설정.
기존 정확도(Accuracy)와 WER는 디코더가 지원하는 단어 집합에 조건을 두고 평가되지만, OVMI는 이를 넘어서는 **개방형 단어 집합**(open-vocabulary)에서 평가.
**OVMI 최대화**를 기준으로 단어 집합을 선택하면, 세 가지 스피치 도메인에서 **16.3% 상대적 정확도 개선**을 달성.
**OVMI explorer** 및 **Python 패키지** 제공으로, 연구자들이 직접 OVMI를 계산하고 비교 가능하게 함.

주요 결과

기존 정확도(Accuracy)는 단어 집합에 조건을 두고 평가되어 실제 사용자의 의도를 과대평가할 수 있음.
OVMI 기반 비교에서, 단어 지원 범위와 정확도 간의 트레이드오프가 드러남.
**OVMI 최대화**를 기준으로 단어 집합을 선택하면, 세 가지 스피치 도메인에서 **16.3% 상대적 정확도 개선**을 달성.
**SUBTLEX-UK** 기반 참조 분포 $ p $를 사용하여 기존 시스템을 비교함.

의의 및 한계

OVMI는 다양한 기록 방식(예: 뇌 심부 이식 vs 비침습적 EEG), 스피치 태스크(예: 시도된 말 vs 상상된 말), 사용자 그룹(예: 건강한 자 vs 마비 환자)에서의 BCI 시스템을 비교할 수 있는 **공통 지표**를 제공한다. 이는 기존 연구 간의 비교를 가능하게 하며, 단어 집합 선택 최적화에 활용할 수 있다. 그러나 OVMI는 참조 분포 $ p $에 의존하므로, $ p $의 선택이 결과에 영향을 줄 수 있다. 또한, 실제 사용 환경에서의 단어 분포와 참조 분포 $ p $가 다를 수 있어, 이에 대한 추가 연구가 필요하다.

실용적 활용

OVMI는 스피치 BCI 연구에서 **단어 집합 설계**, **시스템 비교**, **성능 측정**에 활용될 수 있다. 특히, 마비 환자의 말 복원 기술 개발, 인간-컴퓨터 자연 언어 인터페이스 구축, 언어 재활 연구 등에서 실용적 활용 가능성이 높다.