ElevenLabsがEleven Realtime音声モデルを発表：Maxは0.57秒で発話開始、音声推論精度98.8%

ElevenLabsが、リアルタイム音声モデルシリーズ「Eleven Realtime」（第1弾として v1 Mini と v1 Max の2モデル）を発表しました。高速な発話応答と音声による推論能力の両立を特徴としています。

• 2モデルの明確な役割分担：v1 Mini は自然な対話と低運用コストに特化し、v1 Max は複数ステップの論理推論とツール呼び出しに特化しています。
• 0.5秒クラスの発話開始応答：ベンチマークテストにおける平均初回音声応答時間（TTFA）は、Max が570ミリ秒、Mini が620ミリ秒を記録しました。
• カスケードシステム全体の一体チューニング：音声認識、ターン管理、言語モデル、音声合成を独立モデルが連携する一連のシステムとして最適化し、モジュール間の接続によるレイテンシの損失を抑制しています。
• 2系統の導入ルート：電話、Web、WhatsAppなどのチャネルに展開可能な「ElevenAgents」プラットフォームでの利用に加え、OpenAIプロトコルと互換性のある「Realtime API」を提供し、コードレベルでの移行に対応しています（APIは単体で動作し、プラットフォーム固有のナレッジベースやガードレール機能は含まれません）。
• 豊富な音声バリエーションとコンプライアンス環境：17,500種類以上のボイスと90以上の言語に対応しています。米国および欧州のデータ環境において、v1 Max はゼロデータ保持（Zero Retention Mode）およびHIPAA対応をサポートしています。

Miniは会話を滑らかに、Maxは複雑なタスクに対応

音声AI Agentの開発では、応答速度を優先すると推論の深さが犠牲になり、複雑な業務推論を行わせると待ち時間が長くなるというトレードオフが課題になりがちです。Eleven Realtime は、役割を明確に分けた2つのモデルによってこの課題に対応しています。

• Eleven Realtime v1 Mini：自然な対話と運用の低コスト化に向けて最適化されています。その強みは、音声対話に「生身の人間らしさ」をもたらす微細なディテールを捉えられる点にあります。相手が本当に話し終えた瞬間を的確に把握し、ユーザーの発話によって割り込まれた際には即座に発話を止めて自然なテンポへと復帰します。また、ユーザーが単に相づちとして「うん」「はい」（mm-hmm）などと発しただけの場面では、割り込みと誤認して不自然に発話を止めてしまうことがありません。この特性は、AIパーソナルアシスタント、語学学習の対話パートナー、インタラクティブな仮想キャラクターなどに適しています。
• Eleven Realtime v1 Max：複雑な業務タスクの遂行に向けて設計されています。高度な音声推論能力を備えており、複数の条件分岐や制約を含む複数ステップの要求を理解できます。さらに、対話中にバックエンドのツールインターフェースを自律的に呼び出し、データの照会やレコードの更新といった実務的なアクションを実行します。企業の電話カスタマーサポート、見込み顧客（リード）の一次選別、予約受付やスケジュール調整などが代表的なユースケースです。

公式デモ動画では、2つのモデルが異なるタスクを処理する様子が紹介されています。

中国語・英語字幕付き動画をダウンロード（launch-bilingual.mp4） 中国語・英語字幕ファイルをダウンロード（launch-bilingual.srt） 公式デモのオリジナル動画をダウンロード（launch-original.mp4）

動画の前半では、ユーザーインタビューにおける Mini の応答が示されています。ユーザーのSarahが「アプリを使い始めた最初の1か月は操作が難しく、諦めそうになった」と伝えると、Mini は即座に会話を引き取り、共感を示しながら「どの部分で使いづらさを感じましたか」とスムーズに深掘りの質問を行っています。

動画の後半では、モバイル回線 Eleven Mobile の不通申告に対する Max の対応が示されています。Max はまずユーザーに応答を返した上で、郵便番号パラメータを渡してツールのステータス確認クエリ check_network_status(postcode="10002") を実行します。APIから「地域一帯でネットワーク障害が発生しており、復旧エンジニアが現地対応中で、1時間以内に復旧見込み」という結果が返ってくると、Max はその内容を自然な口頭表現でユーザーに伝達します。

システム全体を一体チューニング、内部は複数の独立モデル

Eleven Realtime はカスケードアーキテクチャ（Cascaded Architecture）を採用しています。単一の統合モデル（Fused Model）ではなく、内部で複数の独立したモデルが協調して動作する構造です。

パイプラインを構成する各コンポーネントの役割は以下のとおりです。

1. 音声認識（ASR）：マイクから入力されるユーザーの音声ストリームをテキストに書き起こします。
2. ターン管理（Turn-taking）：ユーザーが話し終えたかどうか、また新たな発声が発話の割り込みなのか単なる相づち（バックチャネル）なのかを判定します。
3. 大規模言語モデル（LLM）：文脈を把握して論理推論を行い、応答テキストの生成やツール呼び出し（Tool Calls）を実行します。
4. 音声合成（TTS）：生成されたテキストストリームを指定されたボイスの音声ストリームへ変換して出力します。

公式発表によると、基盤となる個別モデルの詳細は非公開とされています。「エンドツーエンドの共同最適化」とは、パイプライン内の音声認識、ターン管理、推論、発声の各コンポーネントを一連のシステムとして一体チューニングし、相互の連携を洗練させたことを指しています。

初回音声応答時間とタスク完了の違い

公式に公表されている570ミリ秒（Max）と620ミリ秒（Mini）は、Big Bench Audio ベンチマークで測定された平均初回音声応答時間（Time to first audio、TTFA）の数値です。これは当該テスト環境における平均値であり、あらゆるネットワーク環境やデバイスにおける通話遅延を直接意味するものではありません。

重要なのは、発話を開始した時点では、まだタスクが完了したわけではないということです。公式デモのトラブルシューティングでも、Agentはまず「状況を確認します」とユーザーに告げてからバックエンドの回線状態確認インターフェースを呼び出し、障害内容と復旧見込み時間が返却されるのを待ってから具体的な結果を報告しています。初回音声応答が示しているのは対話の口火を切るスピードであり、実務的な問題解決はツールの実行結果とその後の処理に依存します。

応答速度と精度のベンチマーク結果

第三者評価機関の Artificial Analysis が2つのモデルに対して多面的なベンチマークを実施しており、公式から散布図および5項目の評価スコアが公開されています。

散布図の軸と注記の内容は以下のとおりです。

• 軸の意味：横軸は初回音声応答時間（Time to first audio、数値が小さいほど高速）、縦軸は Big Bench Audio の音声推論精度（数値が大きいほど高精度）を示します。
• フロンティア上の位置：Eleven Realtime Max は分布の左上に描かれた破線のパレートフロンティア（Pareto frontier）上に位置しており、600ミリ秒以内の低遅延帯において最も高い推論精度を達成しています。
• 除外されたモデルと測定条件：グラフは初回音声応答時間が3秒以内のモデルのみを集計対象としており、応答がそれより遅い5つのモデルはグラフに含まれていません（例えば、StepAudio3 Realtime は精度99.7%を記録しているものの、初回音声応答時間は8,830ミリ秒です）。また、元のグラフには統計的なサンプルサイズが明記されていません。Max は速度と精度のトレードオフにおけるフロンティアに位置するモデルであり、ランキング全体で絶対的に最も精度が高い、あるいは最も遅延が小さいモデルというわけではありません。

速度と精度の散布図に加え、公式から Mini と Max の5項目の詳細スコアも公開されています。留意すべき点として、これら5つの指標は分母、測定対象、テスト基準がそれぞれ異なっており、同一のパーセンテージ正解率として混同することはできません。

1. 音声推論（Speech reasoning、Big Bench Audio 準拠）：Max が98.8%、Mini が75.9%となり、Max が22.9ポイント上回っています。話し言葉に含まれる複層的な論理関係や一般常識の推論をどれだけ正確に理解できるかを反映しています。
2. 初回音声応答時間（Time to first audio）：Max が570ミリ秒、Mini が620ミリ秒となり、Max の方が50ミリ秒高速です。
3. タスク成功率（Task success rate、Speech Agent Arena 準拠）：Agent のタスク実行をシミュレートしたベンチマークにおいて、Max は87.1%、Mini は60.3%となり、Max が26.8ポイント上回っています。この数値は当該テスト環境における結果を示したものです。
4. 人間の嗜好スコア（Preference Elo、Speech Agent Arena 準拠）：Max が998、Mini が988です。
5. 会話ダイナミクス（Conversational dynamics、Full-Duplex-Bench 準拠）：Mini が95.8%を記録し、Max の94.1%を1.7ポイント上回っています。この項目は全二重対話における相づちや発話の引き継ぎ、および割り込まれた際の対応のスムーズさを評価するものです。

ビジネス要件とコンプライアンスに応じた選定

モデル選定にあたっては、業務タスクの複雑さ、コンプライアンス要件、データ保管リージョンの制約を総合的に検討する必要があります。

コンプライアンスとデータ保管に関して、Agentでゼロデータ保持（Zero Retention Mode）を有効にする必要がある場合や、HIPAA対応が求められる環境で、かつ米国または欧州のデータ環境を利用している場合は、v1 Max を選択するか、従来の Custom モードを継続利用します。v1 Mini はこれら2つのコンプライアンス環境には対応していません。一方、Agentにインドまたはシンガポールのデータ保管環境を設定している場合、現時点では v1 Max がサポートされていないため、v1 Mini を採用するか、引き続き Custom モードを利用します。なお、v1 Max を選択する場合、Tokenの上限値は1,024（1,024を含む）以上に設定するか、上限なしに設定する必要があります。

ElevenAgents プラットフォーム設定と Realtime API の実装

Eleven Realtime は2つの並行した導入アプローチを提供しています。ノーコード/ローコードや企業の業務ワークフロー向けの ElevenAgents と、開発者向けの Realtime API です。

1. ElevenAgents でのモデル選択

ElevenAgents の管理コンソールでは、リアルタイムモデルが選択可能な音声モード（Voice mode）として提供されています。7.9秒のコンソール操作デモで設定の切り替え手順が示されています。

中国語・英語字幕付き動画をダウンロード（setup-bilingual.mp4） 中国語・英語字幕ファイルをダウンロード（setup-bilingual.srt） 公式デモのオリジナル動画をダウンロード（setup-original.mp4）

ElevenAgents でリアルタイムモデルを利用する手順は、対象Agentの「Agent」タブを開き、Voice mode を Realtime に切り替えます。モデルのドロップダウンリストから Eleven Realtime v1 Mini または Eleven Realtime v1 Max を選択し、最後に「Publish」をクリックして変更を反映します。なお、公式デモ動画では切り替えと選択の手順のみが示されており、公開が完了するまでの画面は含まれていません。また、本機能は順次提供されているため、ワークスペースの「Agent」タブに Voice mode の選択肢が表示されない場合は、まだそのワークスペースで利用可能になっていません。

Realtime モードに切り替えると、指定したLLM、思考予算（Thinking budget）、推論強度（Reasoning effort）、TTSの表現力モード、ASRプロバイダーはシステム側ですべてフルマネージド化されます。一方で、Agentに設定済みのシステムプロンプト（System prompt）、初期挨拶メッセージ、ボイス、言語、外部ツール、ナレッジベース、ならびに電話、Web、WhatsAppなどの連携チャネルはそのまま継続して利用できます。

設定および公開の際、移行に直接関わる以下の制約に注意する必要があります。

• カスタムLLMおよびサードパーティLLM：カスタムLLM、Amazon Bedrock、Speech Engine を使用しているAgentは Realtime モードへ切り替えることができず、Custom モードを維持する必要があります。
• ワークフローの上書き設定：ワークフローのノード内でLLMやTTSなどのマネージド設定やToken制限を上書きしている場合、その上書きを解除するか、Custom モードを維持する必要があります。
• 異なるモード間の転送制限：Realtime モードのAgentは、同じ Realtime モードのAgentとの間でのみ対話の転送が可能です（Mini と Max の間での転送には対応）。Custom モードのAgentとの相互転送には対応していません。
• Max の Token 制限：v1 Max では、Token の上限を1,024（1,024を含む）以上に設定するか、上限なしに設定することが求められます。

2. Realtime API：既存の WebSocket 接続を活用した実装

すでに OpenAI Realtime API を基盤として自社システムを構築している開発者向けに、ElevenLabs はトランスポートプロトコル（Wire Protocol）の互換性を維持した Realtime API を提供しています。

導入プロセスは、クライアントとサーバーを分離した2段階の手順をとります。

ステップ1：バックエンドで一時キーを発行（Mint Client Secret）
バックエンドサーバーでプライベートなマスターAPIキーを使用し、ElevenLabs SDK を呼び出して有効期限（ドキュメントの例では600秒）付きの一時認証情報 clientSecret を発行します。その際、利用するモデル（eleven_realtime_v1_mini）、システム設定、選択したボイス（brian など）のセッション初期設定をこの認証情報にバインドします。

ステップ2：フロントエンドから直接 WebSocket 通信を確立
ブラウザのフロントエンドでは、OpenAI 公式の @openai/agents-realtime クライアントSDKを再利用し、接続先アドレスを ElevenLabs のエンドポイントへ変更して接続します。

import { OpenAIRealtimeWebSocket, RealtimeAgent, RealtimeSession } from "@openai/agents-realtime";

// 1. 从自建后端获取刚才签发的临时会话凭据
const { value: clientSecret } = await fetch("/api/token").then((res) => res.json());

const agent = new RealtimeAgent({
  name: "ElevenLabs agent",
  instructions: "You are a helpful, friendly voice assistant. Keep replies concise.",
});

// 2. 将 WebSocket 传输地址指向 ElevenLabs 实时端点
const transport = new OpenAIRealtimeWebSocket({
  url: "wss://api.elevenlabs.io/v1/convai/realtime",
});

// 3. 指定 Realtime 模型名与发音人
const session = new RealtimeSession(agent, {
  transport,
  model: "eleven_realtime_v1_mini",
  config: {
    outputModalities: ["audio"],
    audio: {
      output: { voice: "brian" }
    },
  },
});

// 4. 使用临时凭据建立长连接
await session.connect({ apiKey: clientSecret });

Realtime API に関する設計・開発上の重要事項：

• 初期リリースは WebSocket のみ対応、WebRTC は非対応：現在、Eleven Realtime API は WebSocket 経由の音声送受信のみをサポートしています。OpenAI 公式SDKは WebRTC モード時のみブラウザのマイク入力とスピーカー出力を自動制御するため、WebSocket モードではフロントエンド側で 24kHz PCM16 音声のキャプチャおよび再生処理を自前で実装する必要があります（オープンソースの wavtools ライブラリなどの活用が想定されます）。
• 2つの製品機能は独立し共有されない：Realtime API と ElevenAgents は完全に分離された実行環境です。Realtime API 経由で直接接続したモデルからは、ElevenAgents 管理コンソールで構築したナレッジベース、セキュリティガードレール（Guardrails）、電話回線連携などを直接参照することはできません。

課金体系と利用コスト

Eleven Realtime は、分単位の接続時間料金に従量制の Token 消費料金を組み合わせた課金体系を採用しています。

• ElevenAgents 経由：標準の ElevenAgents 分単位料金に加え、選択したモデルで実際に消費された入力Token、キャッシュ入力Token、出力Tokenの費用が加算されます。管理コンソールのモデル選択画面に1分あたりの想定コストが表示されます。
• Realtime API 経由：実際に音声接続を維持した分数に応じた時間料金に、消費されたToken料金が加算されます。Tokenの単価は各プランのティア間で共通です。

2つのモデルを比較すると、全体として v1 Mini の方が低コストであり、v1 Max のToken単価は v1 Mini より高く設定されています。業務タスクの複雑さやコンプライアンス要件に応じて、適切な接続方式とモデルバージョンを選択できます。