腾讯开源语音模型 AuK：把一整套工具收进一句指令
AuK 用一个模型完成语音合成、降噪、音乐分离、情感与音色编辑，由一句自然语言指令驱动。15 亿参数，MIT 许可，权重已公开。
腾讯混元团队开源了语音模型 AuK。权重发布在 Hugging Face 与 ModelScope，推理代码在 GitHub，许可证为 MIT，商用、修改与再分发均被允许。
模型规模为 15 亿参数。以今天的标准算小，而这条新闻的重点也正在这里：它能做的事情，与它的体量并不相称。
一个模型，六件原本分开的活
做音频的人此前要为每件事各配一套工具：语音合成一套，降噪一套，从歌曲里分离人声再一套，变声又是一套。AuK 把它们统统放到一个指令接口之后。你用自然语言说明要什么，需要时再给一段参考音频，拿回编辑好或生成好的声音。
仓库把任务归为五类：
- 生成：零样本语音合成与指令引导生成
- 内容编辑：改写所说的话，以及歌词编辑
- 声学编辑：音高、语速与音量
- 副语言编辑：情感、音色、去口音、非语言声音、转为耳语
- 增强与分离：降噪、去混响、说话人与音乐分离
架构上，一个多模态语言模型同时读取指令与参考音频，50Hz 的 VAE 提供声学隐变量，混合 Transformer 在流匹配目标下融合两路信息。
同时放出的加速版本
与 AuK 一同发布的还有 AuK-Flash，这是一个蒸馏版本，推理只需四步，且推理时不使用无分类器引导。团队给出的测量是，在同等条件下相比完整模型约有 4.5 倍的实际速度提升。蒸馏分两个阶段：先以轨迹级一致性初始化得到少步学生模型，再用按任务路由的目标进行训练，分离任务另以干净预测回归加以监督。
该在哪里停一下
无论是发布说明还是仓库，都没有写明支持哪些语言。对语音模型来说这不是小事：在英语和中文上表现良好的模型，换到训练数据稀少的语言上可能完全垮掉。打算采用的人，应当先用自己的语言实测再下判断。
显存需求同样没有给出。不过 ComfyUI 集成部分明确写了一条限制：源音频与目标音频合计不得超过 30 秒，因此较长的录音需要分段处理。
真正改变格局的仍是许可证与体量。一个 15 亿参数、采用 MIT 许可且权重在你手上的模型，把此前大多以订阅方式售卖的工作带到了本地，音频不必离开你的机器。技术报告已发布在 arXiv。
