Google、Gemini 3.5 Transcribeを発表：リアルタイム文字起こし、Smart整理、85以上の言語に対応

二つのモデル：リアルタイム音声用と録音ファイル用

Gemini 3.5 Transcribe Live のモデルIDは gemini-3.5-transcribe-live です。このモデルはLive APIのWebSocket接続を通じて音声を受信し、サブ秒単位での応答を特徴としています。リアルタイムの字幕、ライブ配信の文字起こし、電話アシスタント、音声エージェントに適しています。

Live版の各セッションは最長10分です。話者分離や単語単位のタイムスタンプには対応しておらず、文単位の時間情報のみを提供します。長時間の会議録音が必要な場合は、アプリケーション側でセッションを継続するか、録音終了後に録音版で処理する必要があります。

Gemini 3.5 Transcribe のモデルIDは gemini-3.5-transcribe です。Interactions APIを通じてアップロードされた録音を処理し、より低い最終的な単語誤り率を特徴としています。話者分離、単語単位のタイムスタンプ、より完全な文字起こし結果をサポートします。

録音は最長1時間まで処理できます。話者分離または単語単位のタイムスタンプを有効にすると、各録音の上限は30分に短縮されます。公式ドキュメントによると、最大8人の話者に対応しており、3人以上の場合の機能は実験的なものとされています。

Google AI Studioでは、リアルタイム文字起こしと録音文字起こしの両方を体験できます。開発者はまず自身の会議、電話、インタビューの録音をアップロードして、どちらのモデルを使用するかを決定できます。

主な機能：Smart整理、多言語、カスタム語彙、注釈

Smartモードは口述内容を直接整理

通常の逐語的な文字起こしでは、「えーっと」「あのー」などのフィラー、繰り返し、言い直しがそのまま残ります。Smartモードでは、これらのフィラーを削除し、自己修正を統合し、最終的な意図に基づいて形式を整えます。

以下の注文デモでは、話者が最初に大きめのヘーゼルナッツラテを注文し、その後キャラメルに変更し、エクストラエスプレッソをキャンセルし、氷の量を変更し、最後にサイズをラージからミディアムに変更しています。Smart出力では、最終的に確定した注文のみが保持されます。

Smartモードは、口述によるメッセージ、メール、メモ、フォームに適しています。すべての発言をそのまま残す必要がある場合は、verbatim（逐語）文字起こしを使用する必要があります。

85以上の言語とシームレスな言語切り替えに対応

このモデルは85以上の言語をサポートしています。話者は、事前に言語を指定しなくても、同じ発話内で言語を切り替えることができます。

以下のデモでは、英語、スペイン語、ヒンディー語を連続して切り替え、さらに英数字の組み合わせの認識もテストしています。

Googleは、リアルタイム版と録音版の両方が多言語の文字起こしをサポートしていると述べていますが、実際の性能は、アクセント、録音品質、背景ノイズ、言語の組み合わせによって影響を受ける可能性があります。

専門用語、人名、製品名、コードを追加可能

開発者はカスタム語彙を提供することで、モデルが会社名、製品名、業界用語、人名、識別番号を認識しやすくなります。公式ドキュメントでは、最大1000語の提供が許可されており、最も重要な語彙は100語以内に抑えることを推奨しています。

以下のリアルタイムデモでは、背景ノイズ、カスタム語の「Neurowave」、サーバーID「B742X」、そして英語とチェコ語の切り替えが追加されています。

このデモは、これらの機能が組み合わせて使用できることを示していますが、すべてのノイズ条件やアクセントで同じ結果が得られることを保証するものではありません。

録音版は話者分離と単語単位のタイムスタンプに対応

録音版では、異なる話者を識別したり、各単語に対応する時間的な位置を返したりすることができます。会議の議事録作成、カスタマーサービスの品質管理、インタビューの字幕作成、元の音声を聞き直す必要がある場面で役立ちます。

Smartモードは、話者分離や単語単位のタイムスタンプと同時に使用することはできません。Smartモードは単語を削除したり言い直しを統合したりする一方、単語単位のタイムスタンプは出力が元の音声と対応している必要があるためです。公式ドキュメントでは、単語単位のタイムスタンプを有効にすると文字起こしの品質が低下する可能性があることも警告しています。

公式テストデータ：ストリーミングWER 4.0%、非ストリーミングWER 2.6%

Googleが発表した英語の文字起こしテスト全体では、リアルタイムのストリーミングモデルの単語誤り率（WER）は4.0%、録音用の非ストリーミングモデルは2.6%でした。WERが低いほど、置換、欠落、または余分な単語が少ないことを意味します。

GOOGLE BENCHMARK · LOWER WER IS BETTER

多言語FLEURSテストでは、リアルタイム版のWERは5.50%、録音版は5.04%でした。どちらのデータも、録音版は完全な音声を待つことでより低い誤り率を達成できる一方、リアルタイム版は応答速度を優先していることを示しています。

GOOGLE BENCHMARK · LOWER WER IS BETTER

Googleはまた、Chirp 3と比較して、Gemini 3.5 Transcribeは音声の終了から最終テキストの返却までの時間が70%短縮されたと述べています。これは最終的な文字起こし時間の相対的な改善であり、誤り率が70%低下したという意味ではありません。これらの数値はGoogleの発表資料からのものであり、この記事では外部が実験を完全に再現するための十分な情報は提供されていないため、実際のビジネス用途では、独自の録音でテストする必要があります。

Gboard、Gemini macOS、Antigravity、AI Studioに統合

Googleは、この二つの文字起こしモデルを自社の入力ツールと開発製品に統合しています。

Gboard Rambler

Ramblerは、Gboardの音声入力機能です。ユーザーは自然に話したり、間を置いたり、言い直したりすることができ、システムがその内容を送信可能なメッセージに整理します。

このデモは、スマートフォンでの入力におけるSmartモードの有用性を直接示しています。ユーザーが日付、レストラン、言い回しを変更しても、出力には最終版のみが保持されます。

Gemini macOS

Gemini macOSは、ユーザーの許可を得た上で、現在選択されている画面の内容を読み取り、音声コマンドと組み合わせてタスクを処理できます。デモでは、ホワイトボードの写真を表に整理し、Nano Bananaを呼び出して誕生日画像を生成し、ウェブ検索を通じてイベント会場の住所を補完していました。

ここでの音声文字起こしはGemini 3.5 Transcribeが担当し、画面の理解、ウェブ検索、画像生成はGeminiアプリ内の他のモデルとツールが担当します。

Antigravity

Antigravityは、音声コマンドとエディター内のコードコンテキストを組み合わせます。デモでは、ユーザーがFlutterアプリのテーマを変更するよう要求し、その後テストやビルドの起動を続けていました。

文字起こしモデルは音声をテキストに変換する役割を担い、コードの読み取り、ステップの計画、ビルドの実行はAntigravityのエージェント機能に属します。Gemini 3.5 Transcribeモデル自体はfunction callingをサポートしていません。

Google AI Studioでは、両モデルの体験エントリーポイントがすでに提供されています。Chrome統合は現在も「近日公開」と表示されています。Deepgram、AssemblyAI、Krispなどの企業が初期の協力パートナーリストに名を連ねています。これらは発表資料に含まれる導入事例であり、独立した横断的な評価ではありません。

現在はパブリックプレビュー版、知っておくべき制限事項

両モデルは現在、パブリックプレビュー版です。テストと統合は開始できますが、本番運用を開始する前に、自身のアクセント、ノイズ、専門用語、長時間の録音を用いた検証が必要です。

主な制限事項は以下の通りです：

• Live版の各セッションは最長10分で、話者分離と単語単位のタイムスタンプには対応していません。
• 録音版は最長1時間の処理が可能ですが、話者分離または単語単位のタイムスタンプを有効にすると、上限は30分になります。
• Smartモードは、話者分離や単語単位のタイムスタンプと同時に使用できません。
• 単語単位のタイムスタンプは、文字起こしの品質を低下させる可能性があります。
• Chrome統合はまだ正式にリリースされていません。

Googleの典型的なトークン使用量の見積もりによると、Live版は毎分約0.009ドル、録音版は毎分約0.005ドルです。この見積もりに基づくと、一時間の音声はそれぞれ約0.54ドルと0.30ドルになります。実際の費用は、入力トークンと出力トークンに基づいて計算され、ストレージ、審査、その後のモデル呼び出しのコストが追加で発生します。

選択方法は簡単です：

• リアルタイム字幕、ライブ配信、電話アシスタント、音声エージェントにはLive版を使用します。
• 会議、インタビュー、カスタマーサービスの録音、字幕制作には録音版を使用します。
• すぐに送信できるテキストが必要な場合は、Smartモードを有効にします。
• 逐語的な証拠、話者、タイムスタンプが必要な場合は、Smartモードをオフにしてverbatimを使用します。

Gemini 3.5 Transcribeは、Gemini API、Vertex AI、Google AI Studioを通じてテスト公開されています。その主なセールスポイントは、リアルタイム応答、録音の高精度、Smartによる自動整理、多言語・専門用語のサポートという四つに要約できます。