Voice Memory for Agentic Speech Recognition

We present Voice Memory, a inference-only scheme for agentic speech recognition: at stream time, a frozen corrector reads a single per-domain memory.md and decides per utterance whether to act on the hypothesis or abstain and keep the 1-best. Asynchronously, a score-gated optimizer revises that file through bounded edits, accepting an edit only when it strictly improves a held-out score. Extended from classical ASR-LM framework, we refer this split the listener-thinker architecture; the two roles are coupled only through the memory, so no weights change and the learned skill stays auditable and portable. Restraint turns out to be the operative skill this loop discovers: unconstrained generative error correction (GER) over-corrects, breaking correct tokens on up to 64% of its edits on financial news, and Voice Memory, reduces this rate to 35%. Across ten HyPoradise domains with an open corrector, Voice Memory, lowers weighted word error rate from 8.36% to 7.52% (7.47% with three added in-context examples) without regressing any dataset below its 1-best baseline; gains concentrate where recoverable headroom is largest, including air-travel commands (8.40% to 3.40%) and noisy far-field speech (CHiME-4, 12.69% to 10.46%). The memory transfers across corrector families and adds zero parameters to the inference path. A demo and example code are provided for future studies.

한 줄 요약

Voice Memory는 추론 단계에서만 작동하는, 가시적이고 이동 가능한 음성 인식 정책을 구현하는 인프라-제로 인퍼런스 기반의 에이전트 음성 인식 시스템이다.

핵심 기여도

Voice Memory는 추론 단계에서 가중치를 변경하지 않고, 텍스트 메모리 파일(`memory.md`)을 통해 정책을 학습한다.
제한된 편집을 통해 개선된 점수만 반영하는 `score-gated optimizer`를 도입, 64%였던 과정정 오류율을 35%로 줄임.
HyPoradise 10개 도메인에서 가중 평균 단어 오류율(WER)을 8.36% → 7.52%로 개선 (추가 인-컨텍스트 예시 3개 시 7.47%).
CHiME-4 데이터셋에서 WER 12.69% → 10.46%로 개선, 모든 도메인에서 1-best 기준보다 하락하지 않음.

핵심 아이디어

Voice Memory는 기존 ASR-LM 프레임워크를 확장한 `listener-thinker (LT)` 아키텍처를 제안한다. 이는 두 개의 역할을 분리: `listener`는 실시간으로 입력을 해석하고, `thinker`는 비동기적으로 텍스트 메모리(`memory.md`)를 개선한다. 핵심 아이디어는 정책을 가중치가 아닌 텍스트 기반 메모리에 저장하는 것이다. 이는 모델의 가시성과 이동성을 보장하며, `score-gated optimizer`를 통해 메모리 편집을 제한적으로 수행함으로써 과정정 오류를 줄인다. 특히, `act` 또는 `abstain`이라는 이진 결정을 도입하여, 정확한 토큰은 건드리지 않는 '제약'이라는 핵심 정책을 학습한다.

기술적 접근법

`Voice Memory`는 추론 단계에서 가중치 변경 없이 작동하며, 정책은 `memory.md`라는 텍스트 파일에 저장된다.
`frozen corrector`는 도메인별 `memory.md`를 읽고, `act` 또는 `abstain` 결정을 내린다.
`score-gated optimizer`는 `bounded edits`를 통해 메모리를 비동기적으로 수정하며, 편집은 `held-out score`가 개선될 때만 수용된다.
`LT` 아키텍처는 `action distribution π`와 `persistent text state s`를 포함하며, `n-best` 가설(`H`)과 정책 결정(`a`)을 결합한다.
`recoverable information ratio (ρ)`와 `harmful edit rate`라는 새로운 평가 지표를 제안.

주요 결과

금융 뉴스 도메인에서 GER의 과정정 오류율(64%)을 Voice Memory는 35%로 감소.
HyPoradise 10개 도메인에서 가중 평균 WER 8.36% → 7.52% (추가 인-컨텍스트 예시 3개 시 7.47%).
항공 여행 명령어 도메인에서 WER 8.40% → 3.40%로 개선.
CHiME-4 데이터셋에서 WER 12.69% → 10.46%로 개선.
모든 도메인에서 1-best 기준보다 하락하지 않음.

의의 및 한계

Voice Memory는 추론 단계에서만 작동하며, 가중치 변경 없이 정책을 학습하므로 모델의 가시성과 이동성을 높인다. `memory.md`는 다른 corrector 간 이동 가능하며, 인퍼런스 경로에 추가 파라미터를 요구하지 않는다. 이는 ASR-LLM 파이프라인에서 최소 비용의 적응과 맞춤화를 가능하게 한다. 그러나 `memory.md`의 초기화나 도메인 전이 시의 초기 성능 저하는 한계로 작용할 수 있다. 또한, 메모리 편집이 제한적이므로, 일부 복잡한 오류는 해결하지 못할 수 있다.

실용적 활용

Voice Memory는 ASR-LLM 파이프라인에서 추론 단계의 정확도를 향상시키며, 특히 항공 여행, 소음 환경 음성 등 오류 잔존률이 높은 도메인에 유용하다. `memory.md`의 이동성은 모델 간 정책 공유를 가능하게 하며, 고객 맞춤형 ASR 시스템 개발에 활용될 수 있다.