Elevenlab 发布两款新语音模型:Eleven v4 和 Eleven v4 Turbo 能根据文本内容“按剧情表演”声音
ElevenLabs 发布 Eleven v4 和 v4 Turbo:前者让文字转语音能够按脚本控制情绪、角色、音效和多人表演,后者把同样的能力带进实时电话与语音代理。
ElevenLabs 发布了两款新语音模型:Eleven v4 和 Eleven v4 Turbo。Eleven v4 面向有声书、角色配音、动画、广告和播客等成品内容,重点提升声音的情绪、节奏、角色表演和长篇一致性;v4 Turbo 面向客服电话和语音代理,在保留这些表现力的同时,把首次出声压到适合实时对话的水平。
现在的 AI 语音,大多已经不难听了。真正还会让人出戏的,是另一件事:它知道每个字怎么念,却不知道这句话为什么要这样说。
角色明明刚受了惊吓,声音还是四平八稳;客服刚查到好消息,语气和让用户继续等待时没有区别;一段对白重做第三句,人物忽然像换了演员。Eleven v4 瞄准的就是这个缺口:把文字转语音从“正确朗读”再往前推一步,变成“按剧情表演”。v4 Turbo 则要让同样的表现力及时进入实时电话和语音代理。
Eleven v4 的主要功能特点
- 脚本可以直接控制表演。 在台词中写入情绪、停顿、笑声、耳语、动作和环境音效,也可以用自然语言说明一句话应该怎样说。
- 声音克隆兼顾相似度和表现力。 Instant Voice Clone 可用大约 10 秒录音创建声音,Professional Voice Clone 重新支持 v4 的完整情绪范围。
- 长篇和重生成更连贯。 context stitching 负责衔接不同生成片段的节奏与状态,speaker stability 尽量让角色在旁白、对话和返工片段里保持同一声线。
- 支持多人对话和发音控制。 同一脚本可安排多个说话者、接话关系和音效,并通过 IPA 与发音词典固定姓名、缩写和专业词的读法。
- 覆盖 90 多种语言。 官方点名支持粤语、蒙古语和奥里亚语,演示还展示了加泰罗尼亚语旁白与音效标签。
- Turbo 为实时对话降低等待。 官方给出的中位模型推理时间约为 100ms,中位首次出声约为 150ms,并支持双向流式生成。
脚本里的表演控制:情绪、停顿、动作和音效
过去写 TTS 脚本,核心内容通常只有台词。想让声音更紧张、更温柔或停顿得更自然,要么调整模型参数,要么生成很多遍再挑选。v4 把一部分导演工作直接搬进了文本:你可以在台词里写 [whispers]、[laughs]、[long pause]、[door slams],也可以用一句自然语言说明“这一句要像刚发现真相那样说”。
这些标签可以连续出现,共同组成一场戏。官网的答题节目例子里,主持人先以温暖语气铺垫,再逐渐制造紧张感,锣声响起后留出五秒;选手用英式口音低声猜答案,带着不确定和紧张的笑;答对以后,主持人、掌声和调侃自然接上。脚本写的不再只有“说什么”,还包括谁在说、刚刚发生了什么,以及这句话应该怎样落地。
主题帖下面那段恐怖独白更能说明问题。画面中的脚本直接写着 [exhaling]、[chuckling]、[smacking lips]。同一个声音先贴着耳边威胁,数着对方睡觉时的呼吸,随后又转成思念母亲的哽咽和亲昵。这里的难点不是把“笑声”插进去,而是情绪要随着角色关系改变,不能像把几个音效按钮依次按下。
有一个实际迁移点值得注意:v4 里控制停顿主要靠自然语言音频标签,例如 [pause] 和 [long pause]。官网 FAQ 明确说,<break> 这类 SSML 标签在 v4 中不可用。已有大量 SSML 脚本的团队不能只换一个模型 ID 就结束,还要改写停顿和表演指令。
声音克隆:保持声线,同时允许情绪变化
声音克隆一直有一组互相拉扯的目标:既要像本人,又要有足够的情绪;既要能夸张表演,又不能一激动就丢掉原来的声线。
ElevenLabs 在官方演示里把旧模型的差别说得很直接:v2 比较像本人,也稳定;v3 的表现力明显更强,还能用音频标签和高级提示,但演示者认为听起来“不太像我”;v4 的目标就是把两者合并,让声音在一句话中途改变情绪时,仍然保持同一个人的身份。
v4 的即时声音克隆只要求大约 10 秒音频;Professional Voice Clone 在 v3 缺席后也重新支持,并能使用 v4 的完整情绪范围。不过,官网同时藏着一个容易被忽略的条件:在 v4 发布前创建的 IVC 或 PVC,如果要在 v4 中有效工作,需要重新训练。对已经积累大量品牌声音资产的团队,这不是完全无摩擦的替换。
这段对比展示的是 v4 的产品目标:让克隆声音在笑、耳语、喘气和句中情绪变化时,仍然听起来像同一个人。实际使用时,10 秒录音的质量、噪声和说话状态都会影响最终效果,仍应使用自己的样本测试。
长篇连续性:跨片段保持节奏和角色身份
长篇音频通常不是一次生成完。一本有声书会分章、分段生成,某句读错了还要单独重做。问题在于,每次生成都是一次新的开始:速度、音高和情绪可能逐渐漂移,重做的那一句甚至会像另一位演员突然接班。
v4 用两项能力应对这个问题。第一是 context stitching,也就是把前后文的节奏和表演状态接起来,让分段生成听上去像同一次录音。第二是 speaker stability,让对话、旁白和重生成的台词尽量维持同一说话者身份。官网把它描述成可以覆盖任意长度的脚本,主题帖则用了“无限文本生成”的说法。
实际使用时,单次生成仍有 10,000 字符上限。“任意长度”不是一口气塞进无限文本,而是不断分段,再依靠上下文拼接维持连续性。对有声书和长篇旁白来说,最关键的工作流变化,是分段生成和单句返工不再需要完全从头重建角色状态。
v4 与 v4 Turbo:成品内容和实时对话
如果一句广告旁白可以多等几秒再挑最好的一版,质量和表演优先;如果电话另一端的人说完以后,AI 还沉默一秒,体验就已经坏了。v4 与 Turbo 的差别,本质上是把计算预算花在不同地方。
| Eleven v4 | Eleven v4 Turbo | |
|---|---|---|
| 优先目标 | 成品内容的音质、情绪与角色表演 | 实时对话中的低延迟与连续性 |
| 典型场景 | 有声书、角色、动画、广告、播客 | 客服、销售、预约、语音代理 |
| 官方延迟口径 | 页面没有公布对应的中位推理延迟 | 中位模型推理约 100ms;中位首次出声约 150ms |
| 输入方式 | 普通生成与流式 API | API 与 ElevenAgents,支持双向流式 |
| 克隆与语言 | Professional Voice Clone,90+ 语言 | 同样支持 Professional Voice Clone 与 90+ 语言 |
这两个延迟数字不能混成一个。约 100ms 指模型本身开始生成音频所花的中位推理时间;约 150ms 指请求发出后到第一段声音出现的中位时间。真正一通 AI 电话还要经过语音识别、LLM 思考、网络往返和播放器缓冲,端到端等待一定比单个 TTS 模型的数字更长。
Turbo 的关键配套是双向流式:上游 LLM 不必等整句写完,可以边生成文字边推给 TTS,音频也边生成边返回。这样省下的不是“整段音频多久做完”,而是用户什么时候听见第一个字。主题帖的最小 JavaScript 示例把 modelId 写成 eleven_v4_turbo;但那张图展示的是普通 textToSpeech.convert() 调用,并没有把双向流式接口完整展开。
官方主视频把 Turbo 放进了一通药品授权电话。代理要正确处理医生姓名和 semaglutide 这类专业词,确认处方批准后,又应请求切到普通话向母亲解释药品信息。这个场景把发音、角色稳定、对话节奏和语言切换放在同一通电话里,比单纯念一段旁白更接近语音代理的实际工作方式。
多人对话、IPA 和发音词典
v4 支持在同一脚本里放多个说话者和音效。棒球解说演示里,两位主播在比赛间隙互相打趣:一人揭出另一人曾给 Backstreet Boys 编舞,另一人顺势自嘲年龄和“有 rizz”;下一秒比赛恢复,两人又切回高能量的本垒打解说,背景补上观众欢呼。
多人脚本不只是轮流切换声音。每个人还要保住自己的身份,同时共享当前情境,知道上一位说了什么、笑点落在哪里、比赛何时又开始。它直接对应官网那句“知道谁在说、刚刚发生了什么、每句应该怎样落地”。
发音控制则通过 IPA 和发音词典处理。名字、缩写和技术词可以预先规定读法,之后每次生成沿用。主题帖中的棒球视频展示的是多人互动;IPA 支持来自同一主题帖和官网的功能说明。
90 多种语言:同一套表演控制可用于非英语脚本
两款模型都宣称支持 90 多种语言,主题帖特别点名粤语、蒙古语和奥里亚语。配套短片用加泰罗尼亚语念了一段旁白,画面还加入了 [música de transició],说明非英语输入也能同时带表演与音效指令。
对中文、粤语或小语种有生产要求的团队,语言数量只是第一层。真正决定能否上线的仍是自己的口音、韵律、术语读法和克隆相似度,因此最好用真实声音和生产脚本做盲听。
Artificial Analysis 榜单:当前排名第一
首帖写着 Eleven v4 在 Artificial Analysis 排名第一。实时读取 Provider Voice Arena 榜单时,它确实排在第一,Elo 为 1315,95% 置信区间为 ±18,累计 1,693 个比较样本、使用 8 个声音;紧随其后的 Cartesia Sonic 3.6 为 1275,Gemini 3.8 Flash TTS 为 1267。
这个榜单不是厂商自己打分。听众会在看不到模型身份的情况下,试听两段用相同文本生成的声音,再选择哪一段更自然,Elo 根据这些成对偏好投票更新。因此,它能支持一个具体结论:在这个 Provider Voice Arena 的当前盲听样本里,Eleven v4 的人类偏好排名第一。
这个排名衡量的是盲听中的整体自然度偏好,不直接测克隆相似度、中文脚本、长篇漂移、真实电话网络和成本。Elo 也会随着新投票变化——发布当日的公开快照曾是 1319,本次读取已经变成 1315。它说明 v4 值得优先测试,但具体生产场景仍要单独验收。
上线前需要核对的五件事
第一,旧脚本不一定原样兼容。SSML 的 <break> 要换成 v4 的自然语言停顿标签;旧 IVC/PVC 也可能需要重新训练。
第二,长篇不是无限单次输入。每次最多 10,000 字符,超长内容仍要分段,context stitching 负责尽量接住前后状态。最该测试的不是第一段听起来多惊艳,而是第十章以后是否还像同一个人,以及重做一句能否无缝插回去。
第三,实时指标要按整条链路验收。Turbo 的约 100ms 和 150ms 都是 TTS 层口径。你的语音代理还要算上听清用户、理解问题、调用工具和播放缓冲。客服场景尤其要测试打断、长号码、姓名、药名、噪声和跨语言切换。
第四,价格要看时限。发布后的两周推广期里,ElevenLabs 给出的 API 折扣价是 v4 每百万字符 22 美元、Turbo 11 美元;Creator+ 用户在 ElevenCreative 内可免费使用 v4,额度上限为每月 credits 的两倍。这是限时发布优惠,不是可以长期写进成本模型的固定价格。官网常规页面同时显示免费档每月 10,000 credits,并称大约可生成 10 分钟音频。
第五,克隆声音不是只有效果问题,还有授权和数据留存。ElevenLabs 称即时与专业克隆都要求声音所有者通过验证;脚本和音频标签未经用户同意不会用于训练。符合资格的企业服务可以启用 Zero Retention Mode,但前提是具体服务支持并且已正确开启,不能把“企业账户”直接等同于所有数据都不保留。
Eleven v4 把一部分配音导演工作写进了脚本
Eleven v4 最值得关注的,不是又多了一款听起来很真的 TTS,而是它试图把原来散落在配音演员、导演、音效和后期里的部分意图,压缩回一份可以直接写的脚本:人物是谁、刚发生了什么、这句要压低还是爆发、哪里停、何时笑、背景发生什么。
v4 负责把这些指令演成可交付的内容;Turbo 负责在对话还没凉掉以前把它说出来。两者都已经进入 ElevenCreative、ElevenAgents 和 ElevenAPI,覆盖从角色表演到实时代理的两端。
官方演示已经展示了情绪、多人、音效、克隆和语言切换可以出现在同一套生成流程里;Artificial Analysis 的盲听榜单则说明 v4 的整体自然度获得了很强的人类偏好。
接下来最有价值的测试,是把自己的难片段直接交给它:同一角色跨章节、句中情绪翻转、两人接话、中文专有名词、重做一句再拼回去。v4 的价值不只在第一耳有多惊艳,更在反复修改以后,人物还能不能保持原来的声音和表演状态。
ELEVENLABS · ELEVEN v4
让脚本不只写台词,也写表演
过去的 TTS 解决“怎么念”;Eleven v4 想进一步理解为什么这句话要这样说。v4 做成品表演,Turbo 把同样的能力带进实时对话。
从正确朗读,到按剧情表演
说什么、谁在说、专有名词怎样读
情绪、停顿、耳语、笑声、动作、环境音
声音不只把字念对,还要接住人物关系和刚刚发生的事
同一套表现力,两条交付路径
成品内容优先
面向有声书、角色、动画、广告和播客,把更多计算预算留给音质、情绪和角色表演。
实时对话优先
面向客服、销售、预约和语音代理,用双向流式让上游文字和下游音频边生成边传输。
约 150ms:首次出声中位数
两者都不是整通电话的端到端延迟。
重做一句,也要像同一个角色
保持说话者身份,同时允许笑、耳语、喘气和句中情绪变化。
连接分段生成前后的节奏、情绪和表演状态。
让旁白、对话和返工片段尽量保持同一声线。
四个数字,各自说明不同事情
上线前,先核对这五件事
- 旧 SSML 停顿标签与旧 IVC/PVC 是否需要迁移或重训
- 长篇分段与单句返工能否保持角色连续
- 真实语音代理整条链路的延迟、打断与噪声表现
- 发布优惠是否到期,不能把限时价格写进长期成本
- 声音所有者授权、验证方式和 Zero Retention 是否真正启用
Eleven v4 and Eleven v4 Turbo Text to Speech models
Meet Eleven v4 and Eleven v4 Turbo by ElevenLabs, our most expressive models yet, with Turbo built for real-time use. Available in apps, API, and agents.

Introducing Eleven v4Meet Eleven v4, our most emotive model yet.
Eleven v4
Our most emotive voice model
Eleven v4 is built on an entirely new architecture that reads a script the way a voice actor would. It knows who's speaking, what just happened, and how every line should land.
Built on a new architecture
Write direction into the script
Add direction like [laughs], [whispers], and [door slams] straight into the script. Eleven v4 follows tag sequences more reliably than v3, sound effects included.
Stitch long-form audio without the seams
Context stitching keeps pacing and delivery steady across a script of any length. A full audiobook sounds like a single take from the first page to the last.
Regenerate without vocal drift
Redo a line once or fifty times and it’s still the same person speaking. Speaker stability holds across dialogue, narration, and everything in between.
Cast a Professional Voice Clone
Professional Voice Clones weren’t supported in v3. In Eleven v4, they’re back and perform with the model’s full emotional range across every language they speak.
Eleven v4 Turbo
Introducing Eleven v4 Turbofor realtime and agents
Our fastest real-time speech model with the expressive range of Eleven v4, available through the API and ElevenAgents. Eleven v4 Turbo has a median inference latency of ~100 ms, time to first speech of ~150 ms, and stays consistent in long interactions.
Optimized for live conversation
Stream in, stream out
Push text as your LLM generates it and audio starts coming back before the sentence is finished. Bidirectional streaming, built for agent loops.
Expression at conversational speed
Turbo carries the full expressive range of Eleven v4. Confirmations, escalations, and holds land differently from one another instead of reading identically.
One voice across every turn
Professional Voice Clones work identically across both models, so a single brand voice stays consistent from the first turn of a call to the last.
Speak the language like a local
Point it at Japanese, Spanish or Portuguese text and the voice speaks it fluently, with a native accent.



Cast from 17,500+ voices
Cast from 17,500+ voices
Narration voices A place for the storytellers. Warm, authoritative, and consistent across every project.
Conversational voices For everyday conversations, you need a natural, easygoing voice. Our conversational voices are built for dialogue and podcasts that are made to feel unscripted.
Social media voices Voices that come alive in short-form content. Capture the energy and personality needed to make a user stay on your TikTok or Reel from end to end.
Character voices A pool of voices for your fictional world. Select from a dynamic cast that brings your game, audiobook, or animation to life.
Educational voices Trustworthy, patient voices that guide students through complex topics. These voices excel for courses, tutorials, training simulations, and guides at every level.
Advertisement voices Polished voices brimming with confidence to land your next product sale. Perfect for digital ads or TV and radio reads.
Entertainment voices From booming movie trailers to comic voices made for performance, these voices scream personality. Built for content where delivery matters as much as material.
Multilingual voices Voices built for global content. Natural pacing, idiomatic expressions, and accents that connect with audiences in every market.
Ryan Peterson, SVP Product for Agentforce Voice, Salesforce
Patrick O'Flaherty, Co-Founder of BeyondWords
Chrys Bader, Co-founder and CEO of Rosebud
Kyle Gudmundson, Music & Audio Lead, Accenture Accelerate
Oscar Daniels, Head of Credit Building Products, Spring Financial
Choose how it soundsbefore it says a word
Every generation starts with a voice. Clone one you already have, design one from a description, or correct how specific words are said with IPA support.
Voice Cloning
Clone a voice from ten seconds of audio, or train a Professional Voice Clone for a near-perfect match.
Voice Design
Describe a voice in a sentence and generate it, without a recording session or a casting call.
Pronunciation Dictionary
Define how names, acronyms and technical terms are pronounced. Set phonetics once, and every generation uses them.
Start creating for freeUpgrade when you need more
Available via APIBring Eleven v4 to your app
Build with Eleven v4 Turbo for real-time experiences and voice agents, all through ElevenAPI.
Create with the highest quality AI Audio
