ElevenLabsが2つの新音声モデル、Eleven v4とEleven v4 Turboを発表：テキストの内容に沿って「物語を演じる」声へ

ElevenLabsは、新しい音声モデル「Eleven v4」と「Eleven v4 Turbo」を発表した。Eleven v4はオーディオブック、キャラクターボイス、アニメーション、広告、ポッドキャストなどの完成コンテンツ向けで、感情、テンポ、役としての演技、長尺での一貫性を重視する。v4 Turboはカスタマーサービスの通話や音声エージェント向けで、同じ表現力を保ちながら、リアルタイム会話に適した水準まで最初の音声が出るまでの時間を短縮する。

現在のAI音声は、すでに「聞くに堪えない」ものではなくなった。むしろ没入感を壊すのは、単語をどう読むかは知っていても、その台詞をなぜそのように言うべきかを理解していないことだ。

登場人物がたった今おびえたのに声は平板なまま。カスタマーサービスが良い知らせを見つけても、利用者に待つよう頼むときと同じ口調。会話の3行目だけを作り直したら、突然別の俳優に交代したように聞こえる。Eleven v4が狙うのはこの隙間だ。テキスト読み上げを「正しく読む」段階から、「脚本に沿って演じる」段階へ進める。v4 Turboは、その表現力をリアルタイム通話と音声エージェントにも間に合う形で持ち込もうとしている。

Eleven v4の主な機能

• 脚本から演技を直接制御できる。 感情、間、笑い声、ささやき、動作、環境音を台詞に書き込み、自然言語で台詞の言い方も指示できる。
• 声の類似性と表現力を両立する音声クローン。 Instant Voice Cloneは約10秒の録音から声を作成でき、Professional Voice Cloneもv4の全感情レンジに再対応した。
• 長尺生成と再生成の連続性を改善。 context stitchingが別々に生成した区間のテンポと状態をつなぎ、speaker stabilityがナレーション、会話、差し替えた台詞でも同じ声質を保とうとする。
• 複数話者と発音制御に対応。 1つの脚本に複数の話者、受け答え、効果音を配置でき、IPAと発音辞書で人名、略語、専門用語の読みを固定できる。
• 90以上の言語。 公式は広東語、モンゴル語、オディア語を明記し、デモではカタルーニャ語のナレーションと効果音タグも披露している。
• Turboはリアルタイム会話の待ち時間を短縮。 公式値はモデル推論の中央値が約100ms、最初の音声までの中央値が約150msで、双方向ストリーミングにも対応する。

脚本内の演技制御：感情、間、動作、効果音

従来のTTS脚本には、基本的に読み上げる台詞しかなかった。声をもっと緊張させる、優しくする、自然に間を取らせるには、モデルのパラメータを調整するか、何度も生成して良いテイクを選ぶ必要があった。v4は演出家の仕事の一部をテキストへ移す。台詞に[whispers]、[laughs]、[long pause]、[door slams]と書いたり、「真実に気づいた直後のように言う」と自然言語で指示したりできる。

タグを連続して使い、ひとつの場面を組み立てることもできる。製品ページのクイズ番組の例では、司会者が温かく話し始め、徐々に緊張を高め、ゴングの後に5秒の間を置く。解答者は英国アクセントで小声に答え、不安と緊張した笑いをにじませる。正解後には司会者、拍手、冗談が自然につながる。脚本が指定するのは「何を言うか」だけではなく、誰が話しているか、直前に何が起きたか、台詞をどう着地させるかまでになる。

発表スレッド下部のホラーモノローグは、この点をさらに明確に示す。画面内の脚本には[exhaling]、[chuckling]、[smacking lips]と直接書かれている。同じ声がまず耳元で相手を脅し、眠っている相手の呼吸を数え、その後は母を思い出す、涙をこらえた親しげな声へ変わる。難しいのは単に「笑い声」を挿入することではない。効果音ボタンを順番に押すような演出ではなく、人物関係に応じて感情を変える必要がある。

移行時に注意すべき実務上の点もある。v4で間を制御する主な方法は、[pause]や[long pause]などの自然言語による音声タグだ。製品ページのFAQは、<break>のようなSSMLタグはv4では利用できないと明記している。大量のSSML脚本を持つチームは、モデルIDを変更するだけでは移行を完了できず、間と演技の指示も書き直す必要がある。

音声クローン：声質を保ちながら感情を変える

音声クローンには、常に相反する目標がある。本人らしく聞こえながら十分な感情を持たせること。誇張した演技を可能にしながら、興奮した瞬間に元の声を失わないことだ。

ElevenLabsは公式デモで旧モデルとの差を率直に説明している。v2は本人に比較的似ていて安定していた。v3は表現力が大きく高まり、音声タグや高度なプロンプトも使えたが、発表者は「自分にはあまり似ていない」と感じた。v4の目標は両者を統合し、文の途中で感情が変わっても同じ人物の声として保つことだ。

v4のInstant Voice Cloneに必要なのは約10秒の音声だけだ。v3では使えなかったProfessional Voice Cloneも再び対応し、v4の全感情レンジを利用できる。ただし製品ページには見落としやすい条件もある。v4公開前に作成したIVCまたはPVCをv4で有効に使うには、再トレーニングが必要だ。ブランド音声資産を大量に蓄積したチームにとって、完全に摩擦のない置き換えではない。

この比較が示すのはv4の製品目標だ。クローン音声が笑う、ささやく、息を切らす、文中で感情を変えるときも、同じ人物として聞こえるようにする。実際には、10秒の録音の品質、ノイズ、話し方の状態が結果を左右するため、自分たちのサンプルで試す必要がある。

長尺の連続性：区間をまたいでテンポと人物の声を保つ

長尺音声は通常、一度にすべてを生成しない。オーディオブックは章や区間ごとに生成し、読み間違えた一文だけ作り直すこともある。しかし生成のたびに新しく始まるため、速度、音高、感情が徐々にずれ、差し替えた一文だけ別の俳優が担当したように聞こえることがある。

v4は2つの機能でこの問題に対応する。1つ目はcontext stitchingで、前後のテンポと演技状態をつなぎ、別々に生成した区間を同じ録音のように聞かせる。2つ目はspeaker stabilityで、会話、ナレーション、再生成した台詞でも同じ話者のアイデンティティをできるだけ維持する。製品ページは任意の長さの脚本を扱えるとし、発表スレッドでは「無限のテキスト生成」と表現している。

ただし1回の生成には依然として10,000文字の上限がある。「任意の長さ」は無限の文章を一度に投入できるという意味ではない。区切って生成し、context stitchingで連続性を保つということだ。オーディオブックや長尺ナレーションで重要なワークフロー上の変化は、区間生成や一文の差し替えのたびに、人物の状態をゼロから作り直さなくてもよくなる点にある。

v4とv4 Turbo：完成コンテンツとリアルタイム会話

広告のナレーションなら、最良のテイクを選ぶために数秒長く待てるので、品質と演技を優先できる。一方、通話相手が話し終えてからAIが1秒黙るだけで、体験はすでに損なわれる。v4とTurboの違いは、本質的には計算資源をどこへ振り向けるかにある。

2つの遅延値を混同してはいけない。約100msはモデルが音声生成を始めるまでの推論時間の中央値。約150msはリクエスト送信から最初の音声区間が現れるまでの中央値だ。実際のAI通話には音声認識、LLMの推論、ネットワーク往復、再生バッファも含まれるため、エンドツーエンドの待ち時間はTTSモデル単体の数値より必ず長くなる。

Turboの重要な仕組みが双方向ストリーミングだ。上流のLLMは文全体を書き終えるのを待たずにテキストをTTSへ送り、音声も生成しながら返せる。短縮されるのは音声全体の完成時間ではなく、利用者が最初の言葉を聞くまでの時間だ。発表スレッドの最小JavaScript例ではmodelIdがeleven_v4_turboだが、その画像は通常のtextToSpeech.convert()呼び出しを示しており、双方向ストリーミングのインターフェース全体は展開していない。

公式メイン動画はTurboを医薬品の承認電話に置いている。エージェントは医師名とsemaglutideのような専門用語を正しく扱い、処方の承認を確認した後、母親に薬の情報を説明するため中国語へ切り替えてよいか尋ねる。この場面は発音、人物の安定性、会話のテンポ、言語切り替えをひとつの通話にまとめており、単なるナレーションより実際の音声エージェントに近い。

複数話者、IPA、発音辞書

v4は1つの脚本に複数の話者と効果音を入れられる。野球実況のデモでは、2人の実況者がプレーの合間に冗談を交わす。一人が相手はかつてBackstreet Boysの振り付けをしていたと暴露し、もう一人が自分の年齢と「rizz」を自虐する。次の瞬間に試合が再開すると、2人は高揚したホームラン実況へ戻り、背景には観衆の歓声が加わる。

複数話者の脚本は、単に声を交互に切り替えるだけではない。それぞれが自分のアイデンティティを保ちながら状況を共有し、前の話者が何を言ったか、笑いのポイントはどこか、試合がいつ再開したかを把握する必要がある。これは製品ページの「誰が話しているか、何が起きたか、各台詞をどう届けるべきかを理解する」という説明に直結する。

発音はIPAと発音辞書で制御する。人名、略語、技術用語の読み方を事前に指定し、以後の生成でも利用できる。発表スレッドの野球動画が示すのは複数話者のやり取りであり、IPA対応は同じスレッドと製品ページの機能説明に基づく。

90以上の言語：英語以外にも同じ演技制御

両モデルは90以上の言語に対応するとされ、発表スレッドは広東語、モンゴル語、オディア語を特に挙げている。関連動画ではカタルーニャ語のナレーションとともに[música de transició]が画面に表示され、英語以外の入力でも演技と効果音の指示を同時に使えることを示す。

中国語、広東語、少数言語で制作するチームにとって、対応言語数は最初の条件にすぎない。実際に公開できるかを決めるのは、自分たちのアクセント、韻律、用語の読み、クローンの類似度だ。実在の声と制作脚本を使ったブラインド試聴が必要になる。

Artificial Analysisランキング：現時点で1位

最初の投稿は、Eleven v4がArtificial Analysisで1位だとしている。Provider Voice Arenaのリアルタイムランキングを確認した時点で、実際に1位で、Eloは1315、95%信頼区間は±18、比較サンプル1,693件、使用音声8種類だった。2位のCartesia Sonic 3.6は1275、Gemini 3.8 Flash TTSは1267だった。

これはメーカー自身による採点ではない。聞き手はモデル名を知らされず、同じ文章から生成した2つの音声を聞き、どちらが自然かを選ぶ。Eloはそのペア比較の好みから更新される。したがって裏付けられるのは具体的な結論だ。Provider Voice Arenaの現在のブラインド試聴サンプルでは、Eleven v4が人間の好みで1位になっている。

このランキングが測るのはブラインド試聴における全体的な自然さの好みであり、クローンの類似度、中国語脚本、長尺でのずれ、実際の電話回線、コストを直接測るものではない。Eloも新しい投票で変化する。公開日のスナップショットは1319だったが、今回の確認時には1315になっていた。v4を優先して試す根拠にはなるが、具体的な制作環境では別途検証が必要だ。

本番導入前に確認する5項目

第一に、既存脚本がそのまま互換とは限らない。SSMLの<break>はv4の自然言語による間のタグへ置き換える必要があり、古いIVC/PVCも再トレーニングが必要な場合がある。

第二に、長尺は1回の入力が無制限という意味ではない。1回の上限は10,000文字で、超長尺の内容は依然として分割し、context stitchingで前後の状態をつなぐ。最も試すべきなのは最初の区間がどれほど印象的かではなく、第10章でも同じ人物に聞こえるか、作り直した一文を違和感なく戻せるかだ。

第三に、リアルタイム性能はチェーン全体で検証する必要がある。Turboの約100msと150msはいずれもTTS層の指標だ。音声エージェントには、利用者の声を聞き、質問を理解し、ツールを呼び出し、再生をバッファする時間もある。カスタマーサービスでは、割り込み、長い番号、人名、薬品名、ノイズ、言語の切り替えを特に試すべきだ。

第四に、価格には期限がある。公開後2週間のキャンペーンでは、ElevenLabsはAPI割引価格としてv4を100万文字あたり22ドル、Turboを11ドルとした。Creator+利用者はElevenCreative内で、月間creditsの2倍を上限にv4を無料利用できた。これは期間限定の公開記念価格であり、長期のコストモデルに固定価格として入れるべきではない。通常の製品ページには無料プランが月10,000 creditsで、約10分の音声を生成できるとも表示されていた。

第五に、クローン音声には品質だけでなく、同意とデータ保持の問題がある。ElevenLabsは、即時・プロフェッショナルの両クローンで声の所有者による検証が必要で、脚本と音声タグを利用者の同意なく学習に使わないとしている。条件を満たす企業向けサービスではZero Retention Modeを有効にできるが、対象サービスが対応し、正しく有効化されていることが前提だ。「企業アカウント」であるだけで、すべてのデータが保持されないと考えてはいけない。

Eleven v4は音声演出家の仕事の一部を脚本へ書き込む

Eleven v4で最も注目すべきなのは、単に本物らしく聞こえるTTSがまた増えたことではない。これまで声優、演出家、効果音、ポストプロダクションに分散していた意図の一部を、直接書ける1つの脚本へ戻そうとしている。人物は誰か、直前に何が起きたか、この台詞は抑えるのか爆発させるのか、どこで間を置くか、いつ笑うか、背景で何が起きているか、という情報だ。

v4はその指示を納品可能なコンテンツとして演じ、Turboは会話が冷める前に声へ変える。どちらもElevenCreative、ElevenAgents、ElevenAPIで利用でき、キャラクター演技からリアルタイムエージェントまでをカバーする。

公式デモは、感情、複数話者、効果音、クローン、言語切り替えを同じ生成フローに入れられることを示した。Artificial Analysisのブラインド試聴ランキングは、v4の全体的な自然さが人間から強く支持されたことを示す。

次に価値があるのは、自分たちの難しい区間をそのまま試すことだ。同じ人物を章をまたいで使う、文の途中で感情を反転させる、2人が受け答えする、中国語の固有名詞を読む、一文だけ作り直して戻す。v4の価値は、最初に聞いた瞬間の驚きだけではなく、何度も修正した後も人物が同じ声と演技状態を保てるかにある。