Google 发布 Gemini 3.5 Transcribe:支持实时转写、Smart 整理和 85+ 种语言
Google 同时推出实时版与录音版语音转写模型,支持改口整理、多语言切换、自定义词汇、说话人分离和时间戳。
- Google 发布实时版 Gemini 3.5 Transcribe Live 和录音版 Gemini 3.5 Transcribe。
- 主要功能包括 Smart 自动整理、85+ 种语言、多语言切换、自定义词汇、说话人分离和时间戳。
- Google 报告流式 WER 4.0%、非流式 WER 2.6%;两个模型目前都处于 Public Preview。
Google 发布了两款新的语音转写模型:Gemini 3.5 Transcribe Live 和 Gemini 3.5 Transcribe。前者处理实时语音,后者处理已经录好的音频文件。
两款模型都支持 Smart 模式、多语言转写、自定义词汇和噪声环境下的语音识别。录音版还提供说话人分离和逐词时间戳。目前它们已经通过 Gemini API 和 Vertex AI 开放 Public Preview,也可以在 Google AI Studio 体验。
两个模型:一个处理实时语音,一个处理录音文件
Gemini 3.5 Transcribe Live 的模型 ID 是 gemini-3.5-transcribe-live。它通过 Live API 的 WebSocket 连接接收音频,主打亚秒级返回,适合实时字幕、直播转写、电话助手和语音 Agent。
Live 版单次会话最长 10 分钟。它不支持说话人分离,也不提供逐词时间戳,只提供一段话级别的时间信息。需要长时间会议记录时,应用需要自行续接会话,或者在录音结束后再交给录音版处理。
Gemini 3.5 Transcribe 的模型 ID 是 gemini-3.5-transcribe。它通过 Interactions API 处理上传的录音,主打更低的最终词错误率,并支持说话人分离、逐词时间戳和更完整的转写结果。
录音最长可以处理 1 小时。打开说话人分离或逐词时间戳后,单段录音上限降为 30 分钟。官方文档写明最多支持 8 名说话人,其中 3 人以上仍属于实验性能力。
Google AI Studio 同时提供实时转写和录音转写体验。开发者可以先上传自己的会议、电话或采访录音,再决定使用哪一个模型。
主要功能:Smart 整理、多语言、自定义词汇和标注
Smart 模式会直接整理口述内容
普通逐字转写会保留“嗯”“呃”、重复句和每一次改口。Smart 模式会删除填充词、合并自我修正,并按最终意思整理格式。
下面的点单演示里,说话人先要大杯榛果拿铁,随后换成焦糖、取消额外浓缩、修改冰量,最后又把大杯改成中杯。Smart 输出只保留最后确认的订单。
Smart 适合口述消息、邮件、笔记和表单。如果场景要求保留每一句原话,就应该使用 verbatim 转写。
支持 85 种以上语言和连续语言切换
模型支持 85 种以上语言。说话人可以在同一段话里切换语言,不需要先手动指定一种语言。
下面的演示连续切换英语、西班牙语和印地语,还测试了字母数字组合的识别。
Google 称实时版和录音版都支持多语言转写,但实际效果仍会受到口音、录音质量、背景噪声和语言组合影响。
可以加入专业词、人名、产品名和代码
开发者可以提供自定义词汇,帮助模型识别公司名、产品名、行业术语、人名和编号。官方文档允许最多提供 1000 个词,同时建议把最重要的词控制在 100 个以内。
下面的实时演示加入了背景噪声、自定义词 Neurowave、Server ID B742X,以及英语和捷克语之间的切换。
这段演示说明这些功能已经可以组合使用,但不能代表所有噪声和口音条件都能得到相同结果。
录音版支持说话人分离和逐词时间戳
录音版可以标出不同说话人,也可以返回每个词对应的时间位置。会议纪要、客服质检、采访字幕和需要回听原音频的场景会用到这些功能。
Smart 模式不能与说话人分离或逐词时间戳同时打开。Smart 会删词和合并改口,逐词时间戳则要求输出与原音频保持对应。官方文档还提醒,打开逐词时间戳可能降低转写质量。
官方测试数据:流式 WER 4.0%,非流式 WER 2.6%
Google 公布的整体英语转写测试中,实时流式模型的词错误率(WER)为 4.0%,录音非流式模型为 2.6%。WER 越低,代表替换、漏掉或多写的词越少。
在多语言 FLEURS 测试中,实时版 WER 为 5.50%,录音版为 5.04%。两组数据都显示,录音版等待完整音频后可以得到更低的错误率,实时版则优先保证返回速度。
Google 还称,相比 Chirp 3,Gemini 3.5 Transcribe 从音频结束到返回最终文本的时间缩短了 70%。这是最终转写时间的相对改进,不是错误率降低 70%。这些数字来自 Google 的发布材料,文章没有提供足够信息让外部完整复现实验,所以真实业务仍需要用自己的录音测试。
已经接入 Gboard、Gemini macOS、Antigravity 和 AI Studio
Google 正在把这两个转写模型接入自己的输入工具和开发产品。
Gboard Rambler
Rambler 是 Gboard 中的口述功能。用户可以自然说话、停顿和改口,系统再把内容整理成可以发送的消息。
这段演示直接展示了 Smart 模式在手机输入中的用途:用户改变日期、餐厅和措辞后,输出只保留最后版本。
Gemini macOS
Gemini macOS 可以在用户授权后读取当前选中的屏幕内容,再结合语音指令处理任务。演示中,它把白板照片整理成表格、调用 Nano Banana 生成生日图片,还通过网页搜索补齐活动地点地址。
这里的语音转写由 Gemini 3.5 Transcribe 完成,屏幕理解、网页搜索和图片生成由 Gemini 应用中的其他模型与工具完成。
Antigravity
Antigravity 会把语音指令和编辑器中的代码上下文结合起来。演示中,用户要求它修改 Flutter 应用主题,然后继续测试或启动构建。
转写模型负责把语音变成文本,读取代码、规划步骤和执行构建属于 Antigravity 的 Agent 能力。Gemini 3.5 Transcribe 模型本身不支持 function calling。
Google AI Studio 已经提供两个模型的体验入口。Chrome 集成目前仍写着“即将推出”。Deepgram、AssemblyAI、Krisp 等公司出现在早期合作名单中;这些属于发布材料里的接入案例,不是独立横向评测。
目前是 Public Preview,这些限制需要提前知道
两个模型目前都处于 Public Preview。可以开始测试和接入,但正式生产使用前,需要用自己的口音、噪声、专业词和长录音做验证。
主要限制如下:
- Live 版单次会话最长 10 分钟,不支持说话人分离和逐词时间戳。
- 录音版最长处理 1 小时;打开说话人分离或逐词时间戳后,上限为 30 分钟。
- Smart 模式不能和说话人分离、逐词时间戳同时使用。
- 逐词时间戳可能降低转写质量。
- Chrome 集成尚未正式推出。
Google 按典型 token 用量估算,Live 版约为每分钟 0.009 美元,录音版约为每分钟 0.005 美元。按这个估算,一小时音频分别约为 0.54 美元和 0.30 美元。实际费用仍按输入、输出 token 计算,还需要加上存储、审核和后续模型调用成本。
选择方式很简单:
- 实时字幕、直播、电话助手和语音 Agent,使用 Live 版。
- 会议、采访、客服录音和字幕制作,使用录音版。
- 需要可直接发送的文字,打开 Smart。
- 需要逐字证据、说话人或时间戳,关闭 Smart,使用 verbatim。
Gemini 3.5 Transcribe 已经通过 Gemini API、Vertex AI 和 Google AI Studio 开放测试。它的主要卖点可以概括为四项:实时返回、录音高精度、Smart 自动整理,以及多语言和专业词支持。
GEMINI 3.5 · TRANSCRIBE ROUTER
Gemini 3.5 Transcribe:先选实时还是录音,再选整理还是逐字
Google 同时发布实时版和录音版两款转写模型。两者都支持 85 种以上语言、Smart 整理和自定义词汇,但返回速度、时间戳、说话人分离和录音时长不同。
两款模型,两条音频处理路线
实时字幕、电话助手和语音 Agent 走 Live;会议、采访、客服录音和字幕制作走录音版。
Smart 是编辑后的结果;verbatim 才保留逐字对应
互斥限制Smart 不能与说话人分离或逐词时间戳同时开启。
要“可直接用的文字”就开 Smart;要“能对应原音频的记录”就关 Smart。
共同能力覆盖多语言和专业词;录音版换取更低 WER
85+85+ 语言支持同一段话连续切换语言,不必先固定一种语言。
1000自定义词汇可加入公司名、人名、产品名、行业术语和编号,最多提供 1000 个词。
4.0 → 2.6%官方 WER整体英语测试中,Live 为 4.0%,录音版为 2.6%;FLEURS 多语言测试分别为 5.50% 和 5.04%。
Google 还称最终文本返回时间较 Chirp 3 缩短 70%;这些都是官方数据,业务接入仍要用自己的录音验证。
已开放 Public Preview,生产接入前先过四项检查
01时长Live 每次 10 分钟;录音版最长 1 小时,开启说话人分离或逐词时间戳后降为 30 分钟。
02价格估算Google 按典型 token 用量估算,Live 约 0.009 美元/分钟,录音版约 0.005 美元/分钟。
03验证用自己的口音、噪声、专业词、长录音和语言组合测试;逐词时间戳可能降低转写质量。
04入口已通过 Gemini API、Vertex AI 和 Google AI Studio 开放测试;Chrome 集成仍未正式推出。
Live = 即时返回;录音版 = 更低最终错误率与完整标注;Smart = 可直接使用;verbatim = 可追溯原音频。
GEMINI 3.5 · AUDIO ROUTER
一段音频,为什么要走两条转写路线?
开发者都交给同一个模型,不就行了?
Google 这次发布的是实时版和录音版两款模型。
开发者直播要的是亚秒级返回。
Live 适合实时字幕、电话助手和语音 Agent;单次会话最长 10 分钟。
开发者会议要能分人、能回到原音频。
录音版支持说话人分离和逐词时间戳,最长处理 1 小时。
开发者消息可以整理后直接发送。
Smart 会删填充词、合并自我修正并整理格式。
系统整理后的文字,不能同时当作逐字证据。
Smart 不能与说话人分离或逐词时间戳同时开启。
开发者先看时效,再看是否需要逐字对应。
两款模型已通过 Gemini API、Vertex AI 和 AI Studio 开放 Public Preview;生产接入前仍需用真实录音验证。
