微软推出首款实时语音转写模型 MAI-Transcribe-2-Streaming

Microsoft AI 推出首款可在说话过程中实时转写的模型 MAI-Transcribe-2-Streaming,目前处于公开预览阶段。该模型支持包括土耳其语在内的 60 种语言,并可自动识别语言。该公司还为语音智能体推出了两款新语音模型 MAI-Voice-2.1 和 MAI-Voice-2.1-Flash。

Paylaş
微软推出首款实时语音转写模型 MAI-Transcribe-2-Streaming

Microsoft AI 于 2026 年 10 月 1 日发布了其首款流式(streaming)语音识别模型 MAI-Transcribe-2-Streaming。该模型能在说话人尚未讲完时,就把语音逐段转写为文字。同一天,该公司还推出了两款新的文本转语音模型 MAI-Voice-2.1 和 MAI-Voice-2.1-Flash。这三款模型面向希望构建能与人语音对话的 AI 智能体的开发者。MAI-Transcribe-2-Streaming 目前已在 Microsoft Foundry 和 Azure Speech 上开放公开预览。

边说边转写的模型

据 Microsoft Learn 文档页面介绍,MAI-Transcribe-2-Streaming 是一款低延迟的语音转文字模型,以连续音频流作为输入,并在说话过程中逐步返回转写结果。中间结果会不断更新当前的识别内容,最终结果则确认每一段文字。微软列出的用途包括呼叫中心、语音助手、会议与课堂字幕、语音交互界面以及实时笔记。该公司此前已推出面向录音文件的 MAI-Transcribe-2,新模型是该系列中首款处理实时音频的模型。

据微软的公告,该模型支持 60 种语言,并能自动、持续地识别所说的语言。文档中的语言列表包括土耳其语,阿拉伯语和中文也在其中。如果不指定语言,模型会以多语言模式运行。该公司表示,模型在开始接收音频后略多于 100 毫秒即可给出首批中间结果;在发布时,它在独立评测网站 Artificial Analysis 上的中间结果和最终结果准确率均排名第一。

面向语音智能体的三款模型

MAI-Voice-2.1 和 MAI-Voice-2.1-Flash 用于把文字转换为语音。据模型页面介绍,MAI-Voice-2.1 适合音质比速度更重要的场景,例如有声书和配音;Flash 版本则面向呼叫中心智能体、语音助手等对延迟敏感的场景。两款模型都支持情感控制,并可根据一小段参考录音克隆声音;微软表示其内置了防止滥用的同意保护机制。页面上的语言列表中也包括土耳其语。

据微软介绍,把 MAI-Transcribe-2-Streaming 与 MAI-Voice-2.1-Flash 搭配使用,可在对话两端都节省时间,让智能体有更多余地进行推理、调用工具并检查答案。该公司还在 MAI Playground 中加入了名为 Chatter 的演示,展示这些模型协同工作。

使用方式与上线渠道

开发者需在 Microsoft Foundry 中把模型部署到自己的资源上,并可通过两种方式接入:与 OpenAI Realtime API 兼容的 WebSocket 连接,或负责管理连接的 Azure Speech SDK。据文档介绍,该模型目前由瑞典中部、美国中部和印度南部区域提供服务,美国东部 2 区域即将上线。微软表示,这些模型也可通过 MAI Playground、Vercel 和 Azure Voice Live 使用,LiveKit 支持即将推出。最新价格请见微软官网。

该模型目前处于公开预览阶段。据微软文档,预览版不提供服务级别协议(SLA),不建议用于生产环境,部分功能可能受限。服务器端目前也没有检测说话结束的功能,需要由应用自行识别停顿并请求最终结果。最好用自己的语言和录音进行测试;想更全面地了解其表现,也值得关注独立研究人员的评估。

来源:Microsoft AI:首款流式转写模型、Microsoft Learn:MAI-Transcribe-2-Streaming、Microsoft Learn:通过 Realtime API 使用、Microsoft AI:MAI-Voice-2.1。

Devamını oku

Mistral تطلق نموذج Voxtral مفتوحا لتحويل الكلام العربي إلى نص فوريا

Mistral تطلق نموذج Voxtral مفتوحا لتحويل الكلام العربي إلى نص فوريا

أطلقت Mistral AI نموذج Voxtral Mini 4B Realtime Arabic الذي يحول الكلام بالعربية ولهجاتها إلى نص في الوقت الفعلي، بترخيص Apache 2.0. وإلى جانبه نموذج LIDstral Arabic الذي يحدد لهجة النص المكتوب بالحروف العربية أو لغته. وقد طُوّر النموذجان بالتعاون مع وزارة الانتقال الرقمي المغربية.

GlobalFeed Editor tarafından