微软发布 VibeVoice-ASR-Streaming：实时转写“谁说了什么”，7B 开放权重，支持 10 种语言，无土耳其语

Microsoft Research 发布了开放权重的流式语音识别模型 VibeVoice-ASR-Streaming：音频尚未结束就开始转写，并把每个片段归到说话人名下。有 1.5B 与 7B 两个尺寸，MIT 许可，放在 Hugging Face 上（7B 的页面计数显示为 90 亿参数，含音频编码器）。技术报告于 9 月 2 日登上 arXiv，GitHub 公告在 9 月 3 日发布。

按 Microsoft 的说法，模型在单一模型内解决“谁说了什么”：传统上分开处理的语音识别与说话人分离在此合二为一。用户可把产品名、人名等作为热词传入以改善识别。支持 10 种语言：中文、英语、法语、德语、意大利语、日语、韩语、葡萄牙语、俄语、西班牙语。没有土耳其语。

工作方式

音频按块处理，每块输出一次文本。报告称，一块为 22 帧（2.9 秒）或 15 帧（2.0 秒），前瞻固定为 0.5 秒；预期的说话人归属延迟分别为 2.00 秒与 1.53 秒。运行需要 NVIDIA GPU；热词通过 --context_info 参数传入。附带 WebSocket 版 FastAPI 演示和文件推理脚本，支持 Transformers 与 vLLM。最长支持 8 分钟的录音。

数据

在五个多说话人会议基准上，7B 模型的平均 WER/CER 为 24.66，按说话人归属的 cpWER/cpCER 平均为 31.55。报告的表格将其与 Gemini 3.5 Transcribe Live（25.23）、GPT Realtime Whisper（39.31）、GPT Live Transcribe（40.55）、ElevenLabs Scribe v2 Realtime（41.39）对比；这是 Microsoft 自己的测量，没有独立测试。流式化的代价也写明了：相比离线的 VibeVoice-ASR，WER/CER 差 0.75 到 3.53 个点，说话人归属差 5.13 到 6.67 个点。

系列脉络

VibeVoice-TTS 于去年 8 月开源。离线的 VibeVoice-ASR 在 1 月 21 日推出，可单次处理 60 分钟录音；7 月 23 日推出无需 GPU 的压缩版 ASR-BitNet（从 4.62 GB 降到 1.58 GB）。流式版本是这条链的最新一环。

对企业读者而言

会议纪要、呼叫中心和语音指令系统所需的分说话人实时转写，现在可用一个开放模型在本地完成，数据不出机构。但因为没有土耳其语，土耳其的机构今天无法直接使用；土耳其语的开放选项仍是 Whisper 系列。Microsoft 自己的提醒同样适用：模型“可能产生意外的、有偏见的或不准确的输出”，公司不建议未经额外测试和开发就用于商业或真实场景。

来源

• 模型卡：huggingface.co/microsoft/VibeVoice-ASR-Streaming-7B
• GitHub 仓库，9 月 3 日公告：github.com/microsoft/VibeVoice
• 技术报告：arXiv 2609.02812，9 月 2 日：arxiv.org/abs/2609.02812