ElevenLabs 发布 Eleven v4:10 秒录音即可克隆声音
ElevenLabs 发布了 Eleven v4,称其为自家情感表现力最强的文本转语音模型,同时推出面向语音智能体的快速版本 v4 Turbo。该模型可凭 10 秒录音克隆声音,并在该声音说其他语言时保持同一身份。
ElevenLabs 于 2026 年 9 月 28 日发布新的文本转语音(Text-to-Speech,TTS)模型 Eleven v4,以及低延迟版本 v4 Turbo。该公司称 v4 是其迄今情感表现力最强的模型,并表示它基于一套全新的架构打造。两款模型现已在 ElevenAgents 和 ElevenCreative 中上线,也可通过 API 使用。
Eleven v4 能做什么
模型会根据文本的上下文判断语气、节奏和情绪。用户也可以用自然语言描述演绎方式,或使用 [laughs]、[whispers]、[light rain]、[phone buzzing] 这类行内标签。据该公司介绍,v4 对这些标签的遵循比以往模型更准确。在多人对话中,它会通读整个场景,让说话者对刚刚说过的话作出反应。单次请求可处理的文本从 5,000 字符提高到 10,000 字符,约合 10 分钟音频。支持的语言从 70 多种增加到 90 多种;文档中的语言列表包括土耳其语。
10 秒录音即可克隆声音
即时声音克隆(Instant Voice Cloning)现在只需 10 秒音频。v3 不支持的专业声音克隆(Professional Voice Cloning)也重新回归。最突出的功能是跨语言的身份一致性:用一种语言录制的声音在说另一种语言时,能像母语者一样自然,同时保持原有的个性。据该公司介绍,声音不再会滑回源语言的口音。v4 Turbo 为语音智能体(voice agent)打造;ElevenLabs 表示,从发出请求到听到语音的中位时间约为 150 毫秒。通话者在通话中途切换语言时,智能体可以用同一个声音继续对话。
对于制作呼叫中心流程、培训视频或多语言内容的企业来说,这让用同一个声音身份发布多种语言的内容变得更容易。该模型在云端运行;最新价格请见 ElevenLabs 官网。
v4 也改变了一些旧习惯:SSML 标签被停用,停顿改用 [pause] 这类自然标签来表示。v4 之前制作的声音克隆需要重新训练才能有良好效果。ElevenLabs 写道,每一个声音克隆都需要声音所有者经过验证的同意,生成的音频也可被检测为 AI 生成。能凭一段短录音克隆声音,也会加大虚假来电和诈骗的风险,因此企业不应只凭声音进行电话身份验证。要评估其排名和听众偏好方面的说法,值得关注独立研究人员的对比评测。
来源:ElevenLabs:推出 Eleven v4、ElevenLabs:ElevenAgents 中的 Eleven v4 Turbo、ElevenLabs:模型文档。