NVIDIA开放RE-USE模型：960万参数清除语音噪声和回声
NVIDIA的RE-USE可用于商业用途，能修复噪声、回声和受损录音。模型卡测试显示，它比对比模型小得多，九项指标中五项领先，三项落后，一项持平。
NVIDIA在Hugging Face上以OpenMDW 1.1许可发布了语音录音清理模型NemotronLabs RE-USE。模型卡写明发布日期为2026年10月22日，公司于10月30日在X上宣布。模型卡称该模型已可用于商业用途。用户可在Hugging Face的演示页面上传带噪音频或视频并试听结果。作为开放模型，机构也可以在自己的硬件上运行。
一个模型应对多种损伤
RE-USE不限于背景噪声。模型卡称，它还旨在修复混响、削波、带宽受限、编解码失真、丢包和低质量麦克风带来的问题。它接受8、16、22.05、24、32、44.1和48 kHz采样率，也可选择扩展带宽。输入和输出都是单声道.wav文件。多人同时说话时，模型经过训练会保留主要说话人并抑制其他人，因此会议录音中的背景交谈也可能被去除。如需更好地保留笑声，NVIDIA另外提供laughter版本。
表格显示了小模型的优势和局限
模型卡在URGENT 2025测试集上把RE-USE与250M参数的Sidon和500M参数的UniPASE进行比较。在完整测试集上，RE-USE在NISQA（4.33）、PESQ（2.57）、STOI（0.78）、说话人相似度（0.86）和语音识别字符准确率（89.17）上得分最高。受损录音的字符准确率为81.29。Sidon在DNSMOS上以3.34对3.29领先，在UTMOS上以3.21对2.94领先。UniPASE在SBERT上以0.89对0.88领先，两者在LPS上同为0.85。也就是说，该模型虽然小得多，但在多项指标上领先，并非每项都最好。
训练数据和方法
该模型把30层双向Mamba与卷积编码器和解码器结合起来。训练使用了约2,500小时语音、180小时噪声和约6万个模拟房间响应。语音来自LibriTTS、VCTK、Multilingual LibriSpeech和CommonVoice等数据集，也包括NVIDIA内部数据。模型卡列出的语言有德语、英语、西班牙语、法语和中文，并称模型旨在做到与语言无关。
已被NeurIPS 2026接收的论文提出三点。在去混响时，以时间平移的无回声干净语音为目标，效果优于带早期反射的语音。两阶段结构旨在在给定感知质量下把失真降到最低。大规模未经筛选的数据集则会限制模型清除细微瑕疵的能力。
适合哪些人
NVIDIA面向内容创作者和清理语音数据的研究人员。论文称，该方法可有效改善语音合成的训练数据。旧录音、电话通话、车内拍摄和播客也是自然的应用场景。实时通话可使用单独的Real-time RE-USE模型，其论文介绍了用一个模型适应不同延迟要求的方法。对于超过30秒的文件，模型卡建议使用分段脚本，因为模型是用10秒以内的片段训练的。
目前安装仍面向开发者。模型卡列出Linux和NVIDIA Ampere硬件，以A100为参考，并建议用Docker配置Mamba环境。它没有给出CPU运行数据。这些比较来自NVIDIA自己的表格。要全面了解结果，也请关注独立研究人员的评估。
