Meta 发布无对齐 Text-Audiobox 研究
Meta AI 公布了一项面向配音与全双工对话合成的无对齐 Text-Audiobox 研究,目前可获取的信息仅有标题。
Meta 的人工智能研究页面上出现了一项新工作:Alignment-Free Text-Audiobox for Voice Dubbing and Full-Duplex Dialogue Synthesis。标题指向两项任务:语音配音,以及全双工(full-duplex)对话合成,也就是对话双方可以同时说话的场景。而“无对齐”(alignment-free)意味着该方法不依赖预先计算好的文本与音频对齐数据。
除标题之外,我们手头的来源没有提供任何技术细节。模型规模、训练数据、对比测试结果、开放方式以及发布日期均未说明,因此本文不转述任何关于该系统性能的说法。
目前语音合成方向的研究普遍需要文本与音频之间的对齐信息,而这一标题所提出的思路是绕开这一步。具体做法如何,仍需查看原文。
论文全文可通过来源链接查看。