Google 发布 Gemini 3.5 Transcribe:支持实时转写、Smart 整理和 85+ 种语言

Google 同时推出实时版与录音版语音转写模型,支持改口整理、多语言切换、自定义词汇、说话人分离和时间戳。

作者:Google Blog / Gemini API 文档08-27 · 约 10 分钟
产品发布 · 小互解读
一分钟速览
  • Google 发布实时版 Gemini 3.5 Transcribe Live 和录音版 Gemini 3.5 Transcribe。
  • 主要功能包括 Smart 自动整理、85+ 种语言、多语言切换、自定义词汇、说话人分离和时间戳。
  • Google 报告流式 WER 4.0%、非流式 WER 2.6%;两个模型目前都处于 Public Preview。

Google 发布了两款新的语音转写模型:Gemini 3.5 Transcribe Live 和 Gemini 3.5 Transcribe。前者处理实时语音,后者处理已经录好的音频文件。

两款模型都支持 Smart 模式、多语言转写、自定义词汇和噪声环境下的语音识别。录音版还提供说话人分离和逐词时间戳。目前它们已经通过 Gemini API 和 Vertex AI 开放 Public Preview,也可以在 Google AI Studio 体验。

两个模型:一个处理实时语音,一个处理录音文件

Gemini 3.5 Transcribe Live 的模型 ID 是 gemini-3.5-transcribe-live。它通过 Live API 的 WebSocket 连接接收音频,主打亚秒级返回,适合实时字幕、直播转写、电话助手和语音 Agent。

Live 版单次会话最长 10 分钟。它不支持说话人分离,也不提供逐词时间戳,只提供一段话级别的时间信息。需要长时间会议记录时,应用需要自行续接会话,或者在录音结束后再交给录音版处理。

Gemini 3.5 Transcribe 的模型 ID 是 gemini-3.5-transcribe。它通过 Interactions API 处理上传的录音,主打更低的最终词错误率,并支持说话人分离、逐词时间戳和更完整的转写结果。

录音最长可以处理 1 小时。打开说话人分离或逐词时间戳后,单段录音上限降为 30 分钟。官方文档写明最多支持 8 名说话人,其中 3 人以上仍属于实验性能力。

Google AI Studio 同时提供实时转写和录音转写体验。开发者可以先上传自己的会议、电话或采访录音,再决定使用哪一个模型。

主要功能:Smart 整理、多语言、自定义词汇和标注

Smart 模式会直接整理口述内容

普通逐字转写会保留“嗯”“呃”、重复句和每一次改口。Smart 模式会删除填充词、合并自我修正,并按最终意思整理格式。

下面的点单演示里,说话人先要大杯榛果拿铁,随后换成焦糖、取消额外浓缩、修改冰量,最后又把大杯改成中杯。Smart 输出只保留最后确认的订单。

OFFICIAL DEMO · BILINGUAL
官方左右对照:逐字稿保留修改过程,Smart 输出只留下最终订单。视频已嵌入中英双语字幕。

下载双语视频

Smart 适合口述消息、邮件、笔记和表单。如果场景要求保留每一句原话,就应该使用 verbatim 转写。

支持 85 种以上语言和连续语言切换

模型支持 85 种以上语言。说话人可以在同一段话里切换语言,不需要先手动指定一种语言。

下面的演示连续切换英语、西班牙语和印地语,还测试了字母数字组合的识别。

OFFICIAL DEMO · BILINGUAL
官方演示:英、西、印地语连续切换,并加入字母数字串。视频已嵌入中英双语字幕。

下载双语视频

Google 称实时版和录音版都支持多语言转写,但实际效果仍会受到口音、录音质量、背景噪声和语言组合影响。

可以加入专业词、人名、产品名和代码

开发者可以提供自定义词汇,帮助模型识别公司名、产品名、行业术语、人名和编号。官方文档允许最多提供 1000 个词,同时建议把最重要的词控制在 100 个以内。

下面的实时演示加入了背景噪声、自定义词 Neurowave、Server ID B742X,以及英语和捷克语之间的切换。

OFFICIAL DEMO · BILINGUAL
官方演示:Neurowave、Server ID B742X、Jiskra 与英捷语切换。单段演示不能代表所有噪声环境。

下载双语视频

这段演示说明这些功能已经可以组合使用,但不能代表所有噪声和口音条件都能得到相同结果。

录音版支持说话人分离和逐词时间戳

录音版可以标出不同说话人,也可以返回每个词对应的时间位置。会议纪要、客服质检、采访字幕和需要回听原音频的场景会用到这些功能。

Smart 模式不能与说话人分离或逐词时间戳同时打开。Smart 会删词和合并改口,逐词时间戳则要求输出与原音频保持对应。官方文档还提醒,打开逐词时间戳可能降低转写质量。

官方测试数据:流式 WER 4.0%,非流式 WER 2.6%

Google 公布的整体英语转写测试中,实时流式模型的词错误率(WER)为 4.0%,录音非流式模型为 2.6%。WER 越低,代表替换、漏掉或多写的词越少。

GOOGLE BENCHMARK · LOWER WER IS BETTER
Google 官方整体英语转写 WER 对比图
Google 披露:Live 流式 WER 4.0%,File 非流式 WER 2.6%。WER 越低越好。

在多语言 FLEURS 测试中,实时版 WER 为 5.50%,录音版为 5.04%。两组数据都显示,录音版等待完整音频后可以得到更低的错误率,实时版则优先保证返回速度。

GOOGLE BENCHMARK · LOWER WER IS BETTER
Google 官方 FLEURS 多语转写 WER 对比图
Google 披露:FLEURS 上 Live WER 5.50%,File WER 5.04%。

Google 还称,相比 Chirp 3,Gemini 3.5 Transcribe 从音频结束到返回最终文本的时间缩短了 70%。这是最终转写时间的相对改进,不是错误率降低 70%。这些数字来自 Google 的发布材料,文章没有提供足够信息让外部完整复现实验,所以真实业务仍需要用自己的录音测试。

已经接入 Gboard、Gemini macOS、Antigravity 和 AI Studio

Google 正在把这两个转写模型接入自己的输入工具和开发产品。

Gboard Rambler

Rambler 是 Gboard 中的口述功能。用户可以自然说话、停顿和改口,系统再把内容整理成可以发送的消息。

OFFICIAL DEMO · BILINGUAL
Gboard Rambler 演示:日期、地点和措辞连续改口,成品只保留最终意图。

下载双语视频

这段演示直接展示了 Smart 模式在手机输入中的用途:用户改变日期、餐厅和措辞后,输出只保留最后版本。

Gemini macOS

Gemini macOS 可以在用户授权后读取当前选中的屏幕内容,再结合语音指令处理任务。演示中,它把白板照片整理成表格、调用 Nano Banana 生成生日图片,还通过网页搜索补齐活动地点地址。

OFFICIAL DEMO · BILINGUAL
Gemini macOS 完整演示。转写负责语音文本;白板理解、Nano Banana 生图和网页搜索属于更大的产品编排。

下载双语视频

这里的语音转写由 Gemini 3.5 Transcribe 完成,屏幕理解、网页搜索和图片生成由 Gemini 应用中的其他模型与工具完成。

Antigravity

Antigravity 会把语音指令和编辑器中的代码上下文结合起来。演示中,用户要求它修改 Flutter 应用主题,然后继续测试或启动构建。

OFFICIAL DEMO · BILINGUAL
Antigravity 演示:转写承接语音,代码上下文、测试和构建属于 Agent 执行层。

下载双语视频

转写模型负责把语音变成文本,读取代码、规划步骤和执行构建属于 Antigravity 的 Agent 能力。Gemini 3.5 Transcribe 模型本身不支持 function calling。

Google AI Studio 已经提供两个模型的体验入口。Chrome 集成目前仍写着“即将推出”。Deepgram、AssemblyAI、Krisp 等公司出现在早期合作名单中;这些属于发布材料里的接入案例,不是独立横向评测。

目前是 Public Preview,这些限制需要提前知道

两个模型目前都处于 Public Preview。可以开始测试和接入,但正式生产使用前,需要用自己的口音、噪声、专业词和长录音做验证。

主要限制如下:

  • Live 版单次会话最长 10 分钟,不支持说话人分离和逐词时间戳。
  • 录音版最长处理 1 小时;打开说话人分离或逐词时间戳后,上限为 30 分钟。
  • Smart 模式不能和说话人分离、逐词时间戳同时使用。
  • 逐词时间戳可能降低转写质量。
  • Chrome 集成尚未正式推出。

Google 按典型 token 用量估算,Live 版约为每分钟 0.009 美元,录音版约为每分钟 0.005 美元。按这个估算,一小时音频分别约为 0.54 美元和 0.30 美元。实际费用仍按输入、输出 token 计算,还需要加上存储、审核和后续模型调用成本。

选择方式很简单:

  • 实时字幕、直播、电话助手和语音 Agent,使用 Live 版。
  • 会议、采访、客服录音和字幕制作,使用录音版。
  • 需要可直接发送的文字,打开 Smart。
  • 需要逐字证据、说话人或时间戳,关闭 Smart,使用 verbatim。

Gemini 3.5 Transcribe 已经通过 Gemini API、Vertex AI 和 Google AI Studio 开放测试。它的主要卖点可以概括为四项:实时返回、录音高精度、Smart 自动整理,以及多语言和专业词支持。

来源
Intelligent transcription with Gemini 3.5 TranscribeGoogle·2026-08-26·查看主材料
本站说明
本文整理 Google 的产品发布信息与官方 API 限制;基准数字来自 Google,未做独立复现。价格、限制和 Preview 状态按 2026-08-27 官方文档核验。