Google、Gemini 3.8 Live Avatarを発表：リアルタイムで会話するデジタルヒューマン
音声を聞き取り、映像を見ながら、同期した音声と動的なアバターで応答。バックグラウンドでのツール呼び出しにより、受付や案内などの対話を途切れず継続できます。
Googleが発表した「Gemini 3.8 Live Avatar」は、対話の中で「見て、聞いて、話す」ことができる動的デジタルヒューマン機能です。リアルタイムの音声対話と低遅延動画を組み合わせることで、アバターの音声、口の動き、表情が会話の流れに合わせて変化します。また、検索や業務リクエストが発生した際にはバックグラウンドでツールを呼び出すことも可能です。これにより、受付や案内、カスタマーサポートにおいて、途切れることなく対話を続けられるビジュアルな窓口が実現します。
コア技術の進化ポイント
Googleはこのアップデートを、リアルタイム対話機能とストリーミング動画のネイティブな融合と説明しています。システムは音声と映像を同時に受け取り、音声と動的なアバターを継続して出力します。口の動き、表情、話すリズムは回答内容に応じて変化します。この進化の核心は、動的なアバターがユーザーのリアルタイムな質問や提示された物品、話題の転換に追従し、自然な対話のリズムを維持できる点にあります。
もう一つの進化が非同期ツール呼び出しです。AIは対話の最中に外部への照会や操作を開始し、結果を待つ間もユーザーとの会話を継続できます。これによってフロントエンドの体験が変わり、空室状況の確認や注文情報の取得といったリクエストの際にも、アバターが停止して待たせることがなくなります。ただし、業務上の実行結果はあくまで企業が連携させたシステムから返されるものであり、動画内のスムーズな対話は実際の処理成功を示す受領通知の代わりにはなりません。
主な機能と特徴
- 聞きながら見て、現場の状況に合わせて回答： ユーザーは話しかけるだけでなく、カメラに物や周囲の環境を見せることもできます。AIは音声による質問と視覚的な手がかりを一体として理解し、表情を伴う音声と動画で応答します。
- 対話しながらツールを呼び出し： ツールのリクエストはバックグラウンドで実行できるため、質疑応答を受付や照会などの業務フローに連携させるのに適しています。具体的にどのような処理が可能かは、企業がどのAPIを接続し、どのような権限を付与するかに依存します。
- 言語を切り替えてもアバターの同期を維持： Googleは、Live Avatarが97言語の切り替えに対応し、音声に合わせて口の動きや表情を追従させながら安定した動画を維持できるとしています。これは公式の機能表明であり、対象言語での実際の効果は具体的な利用環境で検証する必要があります。
- プリセットアバターまたはブランドアバターの利用： 企業は用意されたキャラクターライブラリから選択できるほか、高品質な参考画像を用いて動的なアバターをカスタマイズすることも可能です。カスタムアバターの利用には現在、企業のホワイトリスト登録条件が設けられています。
4本の公式デモが示していること
画面内の、質問されていないリスクに気づく： ユーザーがラグドールの猫「Kai」をカメラの前に抱き寄せ、オフィスで快適に過ごさせるにはどうすればよいか質問します。アバターはまず猫用ベッドや休息に関するアドバイスを提供し、続いてデスク上のポトスに気づいて、猫の手が届かない場所へ植物を移動するよう促します。このデモは視覚的入力の価値を示しており、回答が質問内容だけでなく周囲の環境の手がかりも考慮できることを表しています。ただし、これは認識精度に対する独立した検証を意味するものではありません。
対話と業務リクエストを同時に進行： ホテルのデモでは、バーチャルフロントが宿泊客とアーリーチェックインについて会話したのち、無料で部屋をアップグレードしたと伝え 部屋番号は509であること、デジタルキーがスマートフォンに送信されたことを伝えます。続いて客がチーズバーガーを注文すると、画面にはルームサービスの注文リクエストが表示されます。これは非同期呼び出しによる継続的なコミュニケーションを示すものであり、動画自体はこれらの処理が実際のホテルシステムに連携されていることを証明するものではなく、無料アップグレードを製品のデフォルトポリシーと見なすこともできません。
言語を切り替えながら対話を継続： 旅行日本語の練習では、ユーザーが英語で質問し、アバターが日本語で「これはいくらですか」と尋ねる方法を教え、発音の乱れを聞き取った後に英語で解説して手本を示します。動画では英語と日本語の間での切り替えが具体的に示されています。
キャラクターの外見を選択： 最後の動画では、多様な外見、声、表情を持つプリセットアバターが紹介され、企業がビジュアルイメージのスタイル範囲を把握するのに役立ちます。動画内では、参考画像を用いたカスタムアバターの作成手順は実演されていません。
現時点で適している用途
Live Avatar はすでに Gemini Enterprise のエンタープライズ顧客向けに提供されており、開発者は Gemini Live API 経由でアクセスできます。現時点では、短時間で視覚・音声のフィードバックが必要とされる受付、案内、カスタマーサポートの対話に適しています。Google DeepMind のモデルカードには、連続対話がサポートされるのは数時間ではなく「数分間」と明記されており、散発的な遅延、タイムアウト、誤答は依然として既知の制限事項です。
企業がこれを実際のサービスに導入する場合、対象言語と遅延、ツールの権限、そして業務処理の受領確認を検証する必要があります。カスタムアバターの利用には企業のホワイトリスト登録が必要です。また、Googleは生成された音声と動画に SynthID の電子透かしが付与され、AI生成コンテンツの識別に役立つとしています。透かしは識別用の手がかりを提供するものですが、実際の運用においては個々の業務操作の結果をしっかりと検証することが求められます。