Mistral 开源 Voxtral 阿拉伯语实时语音转写模型

Mistral AI 于 2026 年 10 月 8 日在 Hugging Face 发布了两款阿拉伯语模型。Voxtral Mini 4B Realtime Arabic 是一款语音识别模型，能在说话过程中把现代标准阿拉伯语和各地阿拉伯语方言实时转写成文字，适用于实时字幕和语音交互界面。LIDstral Arabic 则是一款快速分类器，可以判断一段阿拉伯字母文本是现代标准阿拉伯语、属于哪种方言，还是使用同一字母的其他语言。两款模型均采用 Apache 2.0 许可证，模型文件开放下载，机构可以在自己的服务器上运行。

据模型卡介绍，两款模型由 Mistral 与摩洛哥数字转型和行政改革部（MTNRA）合作开发，属于双方 2026 年 1 月签署的战略合作的一部分。Mistral 将其称为这一合作框架下的“主权 AI 资产”。

边说边转写

Voxtral Mini 4B Realtime Arabic 约有 44 亿参数，是在 Mistral 多语言模型 Voxtral Mini 4B Realtime 的基础上针对阿拉伯语微调而成。它采用流式结构，音频一到就输出文字，转写延迟可以按用途调整。训练时特别重视语码转换，也就是说话人在一句话中途从阿拉伯语切换到其他语言再切换回来的情况。根据 Mistral 的测试，在 480 毫秒延迟下，该模型在七个阿拉伯语测试集上的平均字符错误率为 8.82%，与该公司 Voxtral Transcribe Arabic 模型的 7.91% 仅差 0.91 个百分点。测试集除 FLEURS 外，还包括涵盖摩洛哥方言的新数据集 Darija in the Wild 以及 ISMA。

该模型可用 vLLM 部署为服务，音频通过 WebSocket 实时传送到接口，也可以用 Transformers 库运行。模型卡没有给出显存需求。该模型只面向阿拉伯语，其他语言 Mistral 建议使用原版 Voxtral Mini 4B Realtime。

识别方言的分类器

LIDstral Arabic 从 51 个类别中选出一个：现代标准阿拉伯语，摩洛哥、阿尔及利亚、毛里塔尼亚、利比亚、伊拉克和埃及等国的方言，以及其他使用阿拉伯字母的语言。它把基于 fastText 的分类器与一个小型神经网络和概率校准步骤结合起来，无需显卡，在 CPU 上即可运行。在 Mistral 对 84,870 个样例的评估中，它在摩洛哥阿拉伯语（Darija）上的 F1 值为 88.67%，同一测试中 LahjatBERT 为 72.65%，GlotLID v3 为 71.28%。

语音模型的错误率采用与 MTNRA 共同开发的文本规范化方法计算，模型卡也没有给出按方言细分的结果。由于 LIDstral 总会把文本归入 51 个类别之一，遇到不支持的语言或混合语言文本时可能给出错误结果。想获得更全面的了解，也请关注独立研究人员的评估。

来源：Hugging Face：Voxtral Mini 4B Realtime Arabic 模型卡、Hugging Face：LIDstral Arabic 模型卡。