Elevenlab 发布两款新语音模型:Eleven v4 和 Eleven v4 Turbo 能根据文本内容“按剧情表演”声音

ElevenLabs 发布 Eleven v4 和 v4 Turbo:前者让文字转语音能够按脚本控制情绪、角色、音效和多人表演,后者把同样的能力带进实时电话与语音代理。

作者:ElevenLabs09-29 · 约 12 分钟

ElevenLabs 发布了两款新语音模型:Eleven v4 和 Eleven v4 Turbo。Eleven v4 面向有声书、角色配音、动画、广告和播客等成品内容,重点提升声音的情绪、节奏、角色表演和长篇一致性;v4 Turbo 面向客服电话和语音代理,在保留这些表现力的同时,把首次出声压到适合实时对话的水平。

现在的 AI 语音,大多已经不难听了。真正还会让人出戏的,是另一件事:它知道每个字怎么念,却不知道这句话为什么要这样说。

角色明明刚受了惊吓,声音还是四平八稳;客服刚查到好消息,语气和让用户继续等待时没有区别;一段对白重做第三句,人物忽然像换了演员。Eleven v4 瞄准的就是这个缺口:把文字转语音从“正确朗读”再往前推一步,变成“按剧情表演”。v4 Turbo 则要让同样的表现力及时进入实时电话和语音代理。

Eleven v4 的主要功能特点

  • 脚本可以直接控制表演。 在台词中写入情绪、停顿、笑声、耳语、动作和环境音效,也可以用自然语言说明一句话应该怎样说。
  • 声音克隆兼顾相似度和表现力。 Instant Voice Clone 可用大约 10 秒录音创建声音,Professional Voice Clone 重新支持 v4 的完整情绪范围。
  • 长篇和重生成更连贯。 context stitching 负责衔接不同生成片段的节奏与状态,speaker stability 尽量让角色在旁白、对话和返工片段里保持同一声线。
  • 支持多人对话和发音控制。 同一脚本可安排多个说话者、接话关系和音效,并通过 IPA 与发音词典固定姓名、缩写和专业词的读法。
  • 覆盖 90 多种语言。 官方点名支持粤语、蒙古语和奥里亚语,演示还展示了加泰罗尼亚语旁白与音效标签。
  • Turbo 为实时对话降低等待。 官方给出的中位模型推理时间约为 100ms,中位首次出声约为 150ms,并支持双向流式生成。
ElevenLabs 官方总览演示:同段表演中的情绪和动作、专业声音克隆、长篇声线一致性,以及 Turbo 在客服电话中切换语言。视频开头说明声音由画面提示直接生成、没有后期修改。已烧录中英双语字幕。

脚本里的表演控制:情绪、停顿、动作和音效

过去写 TTS 脚本,核心内容通常只有台词。想让声音更紧张、更温柔或停顿得更自然,要么调整模型参数,要么生成很多遍再挑选。v4 把一部分导演工作直接搬进了文本:你可以在台词里写 [whispers]、[laughs]、[long pause]、[door slams],也可以用一句自然语言说明“这一句要像刚发现真相那样说”。

这些标签可以连续出现,共同组成一场戏。官网的答题节目例子里,主持人先以温暖语气铺垫,再逐渐制造紧张感,锣声响起后留出五秒;选手用英式口音低声猜答案,带着不确定和紧张的笑;答对以后,主持人、掌声和调侃自然接上。脚本写的不再只有“说什么”,还包括谁在说、刚刚发生了什么,以及这句话应该怎样落地。

主题帖下面那段恐怖独白更能说明问题。画面中的脚本直接写着 [exhaling]、[chuckling]、[smacking lips]。同一个声音先贴着耳边威胁,数着对方睡觉时的呼吸,随后又转成思念母亲的哽咽和亲昵。这里的难点不是把“笑声”插进去,而是情绪要随着角色关系改变,不能像把几个音效按钮依次按下。

内联标签演示:呼气、咂嘴、轻笑、耳语和哽咽被写进同一段角色表演。自动转写会漏掉部分标签,因此这里保留原视频画面。已烧录中英双语字幕。

有一个实际迁移点值得注意:v4 里控制停顿主要靠自然语言音频标签,例如 [pause] 和 [long pause]。官网 FAQ 明确说,<break> 这类 SSML 标签在 v4 中不可用。已有大量 SSML 脚本的团队不能只换一个模型 ID 就结束,还要改写停顿和表演指令。

声音克隆:保持声线,同时允许情绪变化

声音克隆一直有一组互相拉扯的目标:既要像本人,又要有足够的情绪;既要能夸张表演,又不能一激动就丢掉原来的声线。

ElevenLabs 在官方演示里把旧模型的差别说得很直接:v2 比较像本人,也稳定;v3 的表现力明显更强,还能用音频标签和高级提示,但演示者认为听起来“不太像我”;v4 的目标就是把两者合并,让声音在一句话中途改变情绪时,仍然保持同一个人的身份。

官方克隆对比:演示者用自己的声音说明 v2、v3 与 v4 的取舍,并在一句话中切换笑声、耳语和喘气。已烧录中英双语字幕。

v4 的即时声音克隆只要求大约 10 秒音频;Professional Voice Clone 在 v3 缺席后也重新支持,并能使用 v4 的完整情绪范围。不过,官网同时藏着一个容易被忽略的条件:在 v4 发布前创建的 IVC 或 PVC,如果要在 v4 中有效工作,需要重新训练。对已经积累大量品牌声音资产的团队,这不是完全无摩擦的替换。

这段对比展示的是 v4 的产品目标:让克隆声音在笑、耳语、喘气和句中情绪变化时,仍然听起来像同一个人。实际使用时,10 秒录音的质量、噪声和说话状态都会影响最终效果,仍应使用自己的样本测试。

长篇连续性:跨片段保持节奏和角色身份

长篇音频通常不是一次生成完。一本有声书会分章、分段生成,某句读错了还要单独重做。问题在于,每次生成都是一次新的开始:速度、音高和情绪可能逐渐漂移,重做的那一句甚至会像另一位演员突然接班。

v4 用两项能力应对这个问题。第一是 context stitching,也就是把前后文的节奏和表演状态接起来,让分段生成听上去像同一次录音。第二是 speaker stability,让对话、旁白和重生成的台词尽量维持同一说话者身份。官网把它描述成可以覆盖任意长度的脚本,主题帖则用了“无限文本生成”的说法。

实际使用时,单次生成仍有 10,000 字符上限。“任意长度”不是一口气塞进无限文本,而是不断分段,再依靠上下文拼接维持连续性。对有声书和长篇旁白来说,最关键的工作流变化,是分段生成和单句返工不再需要完全从头重建角色状态。

v4 与 v4 Turbo:成品内容和实时对话

如果一句广告旁白可以多等几秒再挑最好的一版,质量和表演优先;如果电话另一端的人说完以后,AI 还沉默一秒,体验就已经坏了。v4 与 Turbo 的差别,本质上是把计算预算花在不同地方。

Eleven v4 Eleven v4 Turbo
优先目标 成品内容的音质、情绪与角色表演 实时对话中的低延迟与连续性
典型场景 有声书、角色、动画、广告、播客 客服、销售、预约、语音代理
官方延迟口径 页面没有公布对应的中位推理延迟 中位模型推理约 100ms;中位首次出声约 150ms
输入方式 普通生成与流式 API API 与 ElevenAgents,支持双向流式
克隆与语言 Professional Voice Clone,90+ 语言 同样支持 Professional Voice Clone 与 90+ 语言

这两个延迟数字不能混成一个。约 100ms 指模型本身开始生成音频所花的中位推理时间;约 150ms 指请求发出后到第一段声音出现的中位时间。真正一通 AI 电话还要经过语音识别、LLM 思考、网络往返和播放器缓冲,端到端等待一定比单个 TTS 模型的数字更长。

Turbo 的关键配套是双向流式:上游 LLM 不必等整句写完,可以边生成文字边推给 TTS,音频也边生成边返回。这样省下的不是“整段音频多久做完”,而是用户什么时候听见第一个字。主题帖的最小 JavaScript 示例把 modelId 写成 eleven_v4_turbo;但那张图展示的是普通 textToSpeech.convert() 调用,并没有把双向流式接口完整展开。

官方主视频把 Turbo 放进了一通药品授权电话。代理要正确处理医生姓名和 semaglutide 这类专业词,确认处方批准后,又应请求切到普通话向母亲解释药品信息。这个场景把发音、角色稳定、对话节奏和语言切换放在同一通电话里,比单纯念一段旁白更接近语音代理的实际工作方式。

多人对话、IPA 和发音词典

v4 支持在同一脚本里放多个说话者和音效。棒球解说演示里,两位主播在比赛间隙互相打趣:一人揭出另一人曾给 Backstreet Boys 编舞,另一人顺势自嘲年龄和“有 rizz”;下一秒比赛恢复,两人又切回高能量的本垒打解说,背景补上观众欢呼。

多人对话演示:两位解说者在闲聊、互相接话和比赛高潮之间切换,画面中还写入了 `[crowd cheering]`。已烧录中英双语字幕。

多人脚本不只是轮流切换声音。每个人还要保住自己的身份,同时共享当前情境,知道上一位说了什么、笑点落在哪里、比赛何时又开始。它直接对应官网那句“知道谁在说、刚刚发生了什么、每句应该怎样落地”。

发音控制则通过 IPA 和发音词典处理。名字、缩写和技术词可以预先规定读法,之后每次生成沿用。主题帖中的棒球视频展示的是多人互动;IPA 支持来自同一主题帖和官网的功能说明。

90 多种语言:同一套表演控制可用于非英语脚本

两款模型都宣称支持 90 多种语言,主题帖特别点名粤语、蒙古语和奥里亚语。配套短片用加泰罗尼亚语念了一段旁白,画面还加入了 [música de transició],说明非英语输入也能同时带表演与音效指令。

加泰罗尼亚语样本:旁白与 `[música de transició]` 音效标签同时出现。已烧录中英双语字幕。

对中文、粤语或小语种有生产要求的团队,语言数量只是第一层。真正决定能否上线的仍是自己的口音、韵律、术语读法和克隆相似度,因此最好用真实声音和生产脚本做盲听。

Artificial Analysis 榜单:当前排名第一

首帖写着 Eleven v4 在 Artificial Analysis 排名第一。实时读取 Provider Voice Arena 榜单时,它确实排在第一,Elo 为 1315,95% 置信区间为 ±18,累计 1,693 个比较样本、使用 8 个声音;紧随其后的 Cartesia Sonic 3.6 为 1275,Gemini 3.8 Flash TTS 为 1267。

这个榜单不是厂商自己打分。听众会在看不到模型身份的情况下,试听两段用相同文本生成的声音,再选择哪一段更自然,Elo 根据这些成对偏好投票更新。因此,它能支持一个具体结论:在这个 Provider Voice Arena 的当前盲听样本里,Eleven v4 的人类偏好排名第一。

这个排名衡量的是盲听中的整体自然度偏好,不直接测克隆相似度、中文脚本、长篇漂移、真实电话网络和成本。Elo 也会随着新投票变化——发布当日的公开快照曾是 1319,本次读取已经变成 1315。它说明 v4 值得优先测试,但具体生产场景仍要单独验收。

上线前需要核对的五件事

第一,旧脚本不一定原样兼容。SSML 的 <break> 要换成 v4 的自然语言停顿标签;旧 IVC/PVC 也可能需要重新训练。

第二,长篇不是无限单次输入。每次最多 10,000 字符,超长内容仍要分段,context stitching 负责尽量接住前后状态。最该测试的不是第一段听起来多惊艳,而是第十章以后是否还像同一个人,以及重做一句能否无缝插回去。

第三,实时指标要按整条链路验收。Turbo 的约 100ms 和 150ms 都是 TTS 层口径。你的语音代理还要算上听清用户、理解问题、调用工具和播放缓冲。客服场景尤其要测试打断、长号码、姓名、药名、噪声和跨语言切换。

第四,价格要看时限。发布后的两周推广期里,ElevenLabs 给出的 API 折扣价是 v4 每百万字符 22 美元、Turbo 11 美元;Creator+ 用户在 ElevenCreative 内可免费使用 v4,额度上限为每月 credits 的两倍。这是限时发布优惠,不是可以长期写进成本模型的固定价格。官网常规页面同时显示免费档每月 10,000 credits,并称大约可生成 10 分钟音频。

第五,克隆声音不是只有效果问题,还有授权和数据留存。ElevenLabs 称即时与专业克隆都要求声音所有者通过验证;脚本和音频标签未经用户同意不会用于训练。符合资格的企业服务可以启用 Zero Retention Mode,但前提是具体服务支持并且已正确开启,不能把“企业账户”直接等同于所有数据都不保留。

Eleven v4 把一部分配音导演工作写进了脚本

Eleven v4 最值得关注的,不是又多了一款听起来很真的 TTS,而是它试图把原来散落在配音演员、导演、音效和后期里的部分意图,压缩回一份可以直接写的脚本:人物是谁、刚发生了什么、这句要压低还是爆发、哪里停、何时笑、背景发生什么。

v4 负责把这些指令演成可交付的内容;Turbo 负责在对话还没凉掉以前把它说出来。两者都已经进入 ElevenCreative、ElevenAgents 和 ElevenAPI,覆盖从角色表演到实时代理的两端。

官方演示已经展示了情绪、多人、音效、克隆和语言切换可以出现在同一套生成流程里;Artificial Analysis 的盲听榜单则说明 v4 的整体自然度获得了很强的人类偏好。

接下来最有价值的测试,是把自己的难片段直接交给它:同一角色跨章节、句中情绪翻转、两人接话、中文专有名词、重做一句再拼回去。v4 的价值不只在第一耳有多惊艳,更在反复修改以后,人物还能不能保持原来的声音和表演状态。

来源
Eleven v4 and Eleven v4 Turbo Text to Speech modelsElevenLabs·查看主材料
本站说明
产品能力、延迟、语言与克隆表现主要来自 ElevenLabs 官方页面和演示;榜单名次与 Elo 取自阅读时的 Artificial Analysis 实时快照,会随投票变化。