ElevenLabs 发布了 Eleven Realtime 实时语音大模型系列（首发包含 v1 Mini 与 v1 Max 两款配置），主打兼顾快速开口响应与口语推理能力。

• 两款配置分工：v1 Mini 专攻自然对话与低运行成本；v1 Max 专攻多步骤逻辑推理与工具调用。
• 半秒级首音响应：在基准测试中，平均首音频时间 Max 为 570 毫秒，Mini 为 620 毫秒。
• 级联系统整体调优：将语音识别、轮次判定、语言模型与语音合成作为整套系统协同打磨，降低各模块衔接损耗。
• 双通道接入路线：支持在 ElevenAgents 平台选用并部署到电话、网页与 WhatsApp 等渠道，也提供兼容 OpenAI 协议的 Realtime API 供代码级迁移（API 独立运行，不含平台级知识库与防护栏功能）。
• 音色支持与合规环境：支持 17,500 多种音色与 90 余种语言；在美区与欧区环境下，v1 Max 支持零数据留存（Zero Retention Mode）与 HIPAA 合规。

Mini 把对话接顺，Max 把事情查清

语音智能体通常面临两难：追求极速回复容易牺牲思考深度，而复杂的业务推理又往往带来等待延迟。Eleven Realtime 通过两款明确分工的模型应对这一需求：

• Eleven Realtime v1 Mini：专为自然对话与低运行成本优化。它的强项在于能捕捉那些让声音交互产生“真人感”的微小细节：精准感知对方何时真正讲完、在被用户开口打断时能够迅速收声并恢复节奏，以及在用户只是随口发出“嗯哼/对”（mm-hmm）等倾听助词时，不会误判为用户要插话而突然停住。这种特性非常适合 AI 个人助理、口语陪练和交互式虚拟角色。
• Eleven Realtime v1 Max：专为复杂业务任务而设计。它具备更强的口语逻辑推理能力，能理解用户包含多个转折与约束的多步骤诉求，并在对话过程中自主调用后台工具接口去查询数据、更新记录并采取实际行动。典型应用场景包括企业电话客服、售前线索初筛与预约排程。

官方演示视频直观呈现了两款模型处理不同任务时的表现：

下载双语字幕视频（launch-bilingual.mp4） 下载双语字幕文件（launch-bilingual.srt） 下载官方演示原片（launch-original.mp4）

视频前段展示了 Mini 在用户访谈中的反应：当用户 Sarah 表达自己第一个月使用 App 感到困难、险些放弃时，Mini 能够极快接话，发出略带同理心的感叹并顺畅追问“哪些环节让您感到困惑”。

视频后段展示了 Max 面对 Eleven Mobile 移动网络断网申告时的表现：Max 先回应用户，随后发起了一个带邮编参数的工具查询 check_network_status(postcode="10002")。当接口返回当地存在网络故障、抢修工程师已就位、预计一小时内恢复后，Max 随即用自然的口语将这一结论转述给客户。

整套系统一起调优，内部仍是多个模型

Eleven Realtime 采用级联架构（Cascaded Architecture）：内部是多个独立模型配合，而非一个融合模型（Fused Model）。

各组件在流水线中的作用分别为：

1. 语音识别（ASR）：负责将用户说出的麦克风音频流转录为文字。
2. 轮次管理（Turn-taking）：判断用户是否说完，以及新说的话是插话还是附和。
3. 大语言模型（LLM）：负责理解上下文、进行逻辑推理、生成应答文字或执行工具调用（Tool Calls）。
4. 语音合成（TTS）：负责将文本流合成为指定音色的音频流输出。

官方表示底层具体模型的细节并未公开。所谓“端到端联合优化”，是指团队将这套流水线中的识别、轮次判定、推理与发音组件作为整体系统进行调优，使其彼此协同配合。

首音频时间与任务完成的区别

官方公布的 570 毫秒（Max）和 620 毫秒（Mini），具体指标为在 Big Bench Audio 测试中测得的平均首音频时间（Time to first audio，简称 TTFA）。它是这项测试的平均值，不能直接当作任意网络和设备上的实际通话延迟。

需要明确的是，开口说话并不等于任务已经完成。在官方演示的排障场景中，智能体先告知用户去查询，随后后台调用网络状态接口，等待接口返回故障与预计恢复时间后，才进一步播报具体结果。开口响应体现的是对话开始的速度，而实质业务的解决依然依赖工具调用返回与后续处理。

速度与准确率测试表现

第三方独立评测机构 Artificial Analysis 对两款模型进行了多维度测试，官方披露了散点图与五项维度的评测成绩。

从散点图的轴线与图注可以看到：

• 轴线含义：横轴为首音频时间（Time to first audio，数值越低越快）；纵轴为 Big Bench Audio 口语推理准确率（数值越高越好）。
• 前沿位置：Eleven Realtime Max 处于散点分布左上方的帕累托前沿虚线（Pareto frontier）上，在 600 毫秒以内的低延迟区间内推理准确率最高。
• 未绘入模型与条件：图表仅统计首音频时间在 3 秒以内的模型，有 5 个响应更慢的模型未在图中展示（例如 StepAudio3 Realtime 准确率达到 99.7%，首音延迟为 8830 毫秒）；原始图表未标注统计样本量。Max 是速度与准确率权衡下的前沿模型，并非全榜单准确率最高或延迟绝对最低。

除了速度与准确率散点图，官方还公布了 Mini 与 Max 的五项详细测试成绩。需要特别注意：这五项指标的分母、衡量目标与测试基准各不相同，不能笼统混淆为同一种百分比正确率。

1. 语音推理（Speech reasoning，基于 Big Bench Audio）：Max 为 98.8%，Mini 为 75.9%，Max 高出 22.9 个百分点。反映模型理解口语多层逻辑关系与常识推理的准确程度。
2. 首音频时间（Time to first audio）：Max 为 570 毫秒，Mini 为 620 毫秒，Max 比 Mini 快 50 毫秒。
3. 任务成功率（Task success rate，基于 Speech Agent Arena）：在模拟 Agent 执行任务的评测中，Max 达到 87.1%，Mini 为 60.3%，Max 高出 26.8 个百分点。该数据仅反映该基准测试的结果。
4. 人类偏好分（Preference Elo，基于 Speech Agent Arena）：Max 为 998，Mini 为 988。
5. 对话动态感（Conversational dynamics，基于 Full-Duplex-Bench）：Mini 达到 95.8%，高于 Max 的 94.1%，高出 1.7 个百分点。该项主要用于评估全双工交互中的接话以及被打断时的应对表现。

业务场景与合规选型

在选型时，需结合业务任务复杂度、合规环境与数据驻留要求进行权衡：

在合规与数据驻留方面，如果智能体需要启用零数据留存（Zero Retention Mode）或处于 HIPAA 合规环境，且位于美区或欧区数据环境，开发者可选择 v1 Max，或继续保持 Custom 模式；v1 Mini 在这两种合规环境下均不可选。若智能体设置了印度或新加坡数据驻留环境，当前 v1 Max 暂不支持，开发者可选用 v1 Mini 或继续使用 Custom 模式。此外，选用 v1 Max 时，Token 上限必须设定在 1,024（含）以上或不设上限。

ElevenAgents 平台配置与 Realtime API 接入

Eleven Realtime 提供了两条平行的技术接入路线：面向低代码与企业工作流的 ElevenAgents，以及面向底层研发的 Realtime API。

1. 在 ElevenAgents 中选择模型

在 ElevenAgents 控制台中，实时模型表现为一个可选的语音模式（Voice mode）。一段 7.9 秒的控制台操作演示展示了模式切换过程：

下载双语字幕视频（setup-bilingual.mp4） 下载双语字幕文件（setup-bilingual.srt） 下载官方演示原片（setup-original.mp4）

在 ElevenAgents 中使用实时模型的完整配置流程为：进入智能体的 Agent 选项卡，将 Voice mode 切换为 Realtime，在模型下拉列表中选择 Eleven Realtime v1 Mini 或 Eleven Realtime v1 Max，最后点击 Publish 发布生效。需要注意的是，官方演示视频中仅展示了切换与选择过程，并未展示最终发布成功；同时该功能正在逐步开放，如果工作区的 Agent 选项卡中没有出现 Voice mode 入口，说明当前工作区暂不可用。

切换为 Realtime 模式后，系统会自动全托管所选 LLM、思考预算（Thinking budget）、推理力度（Reasoning effort）、TTS 表现力模式以及 ASR 提供商；智能体原有的系统提示词（System prompt）、首句问候、音色、语言、外挂工具、知识库以及电话、网页与 WhatsApp 等渠道均可继续使用。

在配置与发布时需注意以下直接影响迁移的限制：

• 自定义与第三方 LLM：使用自定义 LLM、Amazon Bedrock 或 Speech Engine 的智能体无法切换至 Realtime 模式，需保持 Custom 模式。
• 工作流覆盖：若工作流节点覆盖了 LLM、TTS 等托管设置或 Token 限制，需移除覆盖或保持 Custom 模式。
• 跨模式转接限制：Realtime 模式智能体仅支持与同处于 Realtime 模式的智能体互相转接（Mini 与 Max 之间支持互转），不支持与 Custom 模式智能体跨模式转接。
• Max Token 限制：v1 Max 要求 Token 上限设定在 1,024（含）以上或不设上限。

2. Realtime API：沿用已有的 WebSocket 接入

对于已经基于 OpenAI Realtime API 构建了自主业务系统的开发者，ElevenLabs 提供了保持底层传输协议（Wire Protocol）兼容的 Realtime API。

接入过程采用客户端与服务端解耦的两步走模式：

第一步：后端换取临时密钥（Mint Client Secret）
业务后端使用私有主密钥，调用 ElevenLabs SDK 签发一个具有有效期限（文档示例为 600 秒）的临时凭证 clientSecret，并将初始会话配置（如选择 eleven_realtime_v1_mini、系统设定以及所选音色 brian）绑定在该凭证上。

第二步：前端直接建立 WebSocket 通信
前端浏览器可以直接复用 OpenAI 官方提供的 @openai/agents-realtime 客户端 SDK，将连接地址重定向至 ElevenLabs 节点：

import { OpenAIRealtimeWebSocket, RealtimeAgent, RealtimeSession } from "@openai/agents-realtime";

// 1. 从自建后端获取刚才签发的临时会话凭据
const { value: clientSecret } = await fetch("/api/token").then((res) => res.json());

const agent = new RealtimeAgent({
  name: "ElevenLabs agent",
  instructions: "You are a helpful, friendly voice assistant. Keep replies concise.",
});

// 2. 将 WebSocket 传输地址指向 ElevenLabs 实时端点
const transport = new OpenAIRealtimeWebSocket({
  url: "wss://api.elevenlabs.io/v1/convai/realtime",
});

// 3. 指定 Realtime 模型名与发音人
const session = new RealtimeSession(agent, {
  transport,
  model: "eleven_realtime_v1_mini",
  config: {
    outputModalities: ["audio"],
    audio: {
      output: { voice: "brian" }
    },
  },
});

// 4. 使用临时凭据建立长连接
await session.connect({ apiKey: clientSecret });

针对 Realtime API 的关键工程注意事项：

• 首发仅支持 WebSocket，不支持 WebRTC：目前 Eleven Realtime API 仅支持基于 WebSocket 的音频收发。由于 OpenAI 官方 SDK 只有在 WebRTC 模式下才会自动接管浏览器的麦克风与扬声器，在 WebSocket 模式下，开发者需要自行在前端进行 24kHz PCM16 音频的采集与推流播放（例如借助开源的 wavtools 库）。
• 两套产品体系能力不互通：Realtime API 与 ElevenAgents 是完全独立的工程运行链路。通过 Realtime API 直连的模型，无法直接读取 ElevenAgents 控制台里搭建的知识库、安全防护栏（Guardrails）与电话线路集成。

计费方式与使用成本

Eleven Realtime 采用分钟费用叠加 Token 消耗的计费方式：

• ElevenAgents 渠道：按照标准的 ElevenAgents 每分钟费用，加上所选模型实际消耗的输入 Token、缓存输入 Token 与输出 Token 费用计费。控制台的模型选择器中会显示预估的每分钟成本。
• Realtime API 渠道：按照每分钟实际连接的音频时长费用，加上实际消耗的 Token 费用计费，各层级套餐的 Token 单价保持一致。

在两款模型中，v1 Mini 整体费用更低，v1 Max 的 Token 单价高于 v1 Mini。开发者可根据具体业务复杂度与合规要求，选择适合的接入方式与模型版本。