Heartbeat Thinking: Speculative Reasoning and Tool Execution While Listening in Realtime Voice Agents

Tool-using voice agents often leave users waiting after speech ends, even when actionable information arrives earlier in the request. Speculative approaches begin work during speech, but chunk-bounded or interrupt-on-update generation can truncate a tool call before its arguments are complete. This couples computation time to speech updates, limiting useful work completed in advance. We introduce Heartbeat Thinking, which handles updated input through new Thinker invocations while allowing ongoing invocations and dispatched tools to finish. Periodic invocations read the latest partial transcript and a shared record of completed reasoning and tool results. These results help resolve missing arguments and initiate dependent calls, allowing preparation to progress across speech updates. Across SpeechFCEval, FDBench v3, and AudioCRAG, Heartbeat improves aggregate speculative tool coverage or retrieval reuse over a SHANKS-style windowed baseline, with benchmark-dependent effects on final task quality. On FDBench v3, it increases tool coverage by 16 percentage points and reduces mean final-response latency by 36.4\%. The results show that heartbeat thinking paradigm preserving ongoing computation during speech can turn listening time into reusable preparation for faster and more capable voice-agent responses.

한 줄 요약

Heartbeat Thinking은 실시간 음성 대화 중 사고와 도구 실행을 병렬화하여 응답 속도를 36.4% 개선한다.

핵심 기여도

**Heartbeat Thinking**이라는 새로운 사고 패러다임을 제안하여, 실시간 음성 입력 중에도 사고와 도구 실행을 병렬화.
**Thinker** 모듈이 주기적으로 최신 부분 전사와 이전 사고/도구 결과를 읽어, 미완성된 인수를 보완하고 종속 도구 호출을 시작.
FDBench v3에서 도구 커버리지 16% 포인트 증가, 평균 최종 응답 지연 36.4% 감소.
SHANKS 기반 Window Thinking 대비 SpeechFCEval, FDBench v3, AudioCRAG에서 STC(Speculative Tool Coverage)가 각각 10.56, 16.00, 42.37% 포인트 개선.

핵심 아이디어

기존 음성 에이전트는 음성 입력이 끝난 후에야 사고와 도구 실행을 시작하지만, 이는 사용자 대기 시간을 늘린다. Heartbeat Thinking은 **Thinker**라는 모듈을 주기적으로 호출하여, 부분 전사와 이전 사고 결과를 기반으로 미완성된 도구 호출을 보완하고 종속 도구를 시작한다. 이는 음성 업데이트 사이클 내에서 사고와 도구 실행을 중단 없이 진행할 수 있게 한다.

**Responder**는 최종 응답을 생성할 때, Thinker가 생성한 사고/도구 결과를 활용하며, 미완성된 작업은 취소된다. 이는 사고와 응답 생성을 분리하여, 각각 독립적인 모델을 사용할 수 있게 한다. 핵심 통찰은 **사전 준비와 최종 응답 생성을 분리**함으로써, 실시간 입력 중에도 유용한 작업을 누적할 수 있다는 점이다.

기술적 접근법

**Thinker**: 주기적으로 최신 부분 전사와 이전 사고/도구 결과를 읽으며, 독립적으로 실행되어 병렬 처리 가능.
**Responder**: 최종 응답 생성 시, Thinker가 생성한 사고/도구 결과를 활용하며, 미완성 작업은 취소.
도구 실행은 비동기적으로 수행되며, 결과는 공유 기록에 저장되어 후속 Thinker가 활용.
FDBench v3에서 도구 커버리지 34.67% → 50.67%, 평균 최종 응답 지연 6.90초 → 4.39초 (36.4% 감소).

주요 결과

**FDBench v3**: 도구 커버리지 16% 포인트 증가, 평균 최종 응답 지연 36.4% 감소.
**SpeechFCEval**: 최종 작업 성능 67.95% → 66.85% 감소.
**AudioCRAG**: 최종 작업 성능 57.24% → 55.49% 감소.
**STC**: SpeechFCEval 10.56%, FDBench 16.00%, AudioCRAG 42.37% 포인트 증가.

의의 및 한계

Heartbeat Thinking은 실시간 음성 입력 중에도 사고와 도구 실행을 병렬화함으로써, 사용자 대기 시간을 줄이고, 사전 준비를 최대화할 수 있다. 특히, **Thinker와 Responder의 분리**는 모델 선택의 유연성을 높인다. 그러나, 사전 준비 결과의 해석과 활용은 여전히 별도의 도전 과제이다. 일부 데이터셋에서는 최종 작업 성능이 감소하는 경향이 관찰되었으며, 이는 사전 준비의 질과 최종 응답 생성 간의 일관성 문제를 시사한다.

실용적 활용

Heartbeat Thinking은 실시간 음성 기반 고객 지원, 스마트 홈, 의료 상담 등에서 응답 속도와 능력을 향상시킬 수 있다. 특히, **FDBench v3**와 같은 복잡한 도구 사용 시나리오에서 유용하며, **Responder** 모듈을 통해 최종 응답 품질을 독립적으로 조정할 수 있어, 다양한 응용 분야에 맞춤화된 성능을 제공할 수 있다.