Tavusが対面インタラクションモデル「Griffin」を発表、リアルタイム動画チューリングテストに合格した初のモデルと主張

1分間の会話で半数近くが本物の人間と誤認：Tavusが対面インタラクションモデル「Griffin」を発表

Tavusは、対面型AIインタラクションシステム「Griffin」を発表し、リアルタイム動画チューリングテストに合格した初のモデルであると主張しました。公式検証では、54人の参加者が1分間の1対1ビデオ通話を行い、そのうち26人（48%）が相手を本物の人間であると判定しました。一方、同一のテスト条件下において、Tavusの旧世代カスケード型システムを人間と判定した参加者は41人中わずか1人（2.4%）にとどまりました。この技術が解決を目指しているのは、従来のデジタルヒューマンや音声アシスタントとの対話で日常的に生じていた気まずさです。言葉を選ぼうと2秒ほど言葉を詰まらせただけで、AIが話し終えたと誤認して即座に割り込んできたり、強い興奮を込めて出来事を話しているのに、画面上のアバターは無表情のままで、2〜3秒後にようやく機械的な調子で「それは素晴らしいですね」と返答してきたりする問題です。

従来のターン制対話ソリューションの多くは、カスケードシステム（Cascade System）を採用しています。これは、ユーザーの発話をまずテキストに変換し、回答を生成した上で、最終的に音声とアバター映像を合成する方式です。その処理はリレー競技のように進行します。

1. 第1走者（音声認識 ASR）：音声をテキストに変換し、ユーザーが発話を完了したとシステムが判断した段階で回答フェーズへと移行します。
2. 第2走者（大規模言語モデル LLM）：文字情報をもとに回答テキストを生成します。
3. 第3走者（音声合成 TTS）：LLMが生成したテキストを合成音声に変換します。
4. 第4走者（アバター駆動 Avatar）：生成された音声信号に合わせて表情や口の動き（リップシンク）を動かします。

各工程のバトンタッチごとに待機時間（レイテンシ）が蓄積し、次の工程へと元の生情報が伝わらないリスクも生じます。声がテキスト化される過程で語調の迷いやニュアンスが抜け落ち、カメラ映像が回答モデルに直接届かないため、視線や身振りを判断材料に組み込むこともできません。さらに、生成済み音声に依存してアバターを駆動する仕組みでは、ユーザーがまだ話している途中でタイムリーに頷いたり相づちを打ったりすることは極めて困難でした。

TavusはGriffinを「人間インタラクションモデル」（Human Interaction Model, HIM）と位置づけています。音声と映像の入力を途切れなく処理しながら、同時に応答を並行して生成するこの双方向同時処理方式はフルデュプレックス（全二重通信）と呼ばれます。ユーザーが話している間もAIは聞き、見続けており、自身が声を発している最中も相手の身振りや割り込み発話を捉え続けます。対話エンジンはサブ秒間隔で状況を再評価し、今この瞬間に待つべきか、頷くべきか、相づちを打つべきか、あるいは発話を開始すべきかを判断し直します。

---

見聞きしながら同時に応答する：そのメカニズムとは？

機械が本物の人間のように滑らかに対話をつなぐには、対話の判断、発話のタイミング、音声・映像のストリーミング生成のリズムを緊密に同期させる必要があります。Griffin全体は、連続対話モデリングエンジンと音声・映像ストリーミング生成エンジンという2大コアエンジンの連携によって動作しています。

あなたが継続して話し、動作する音声 ＋ カメラ映像

↓

継続的対話モデリングサブ秒間隔で再判定：待機／相づち／発話／ターンの譲渡発話内容に加え、トーン・表情・ジェスチャーを決定

↓ 制御信号

ストリーミング音声生成チャンク単位で音声を生成し、生成しながら再生

ストリーミング動画生成参照画像、音声、制御信号から画面全体を生成

声が聞こえ、表情や身振りも見える↑ 出力中も入力は常時継続：自身が話している間も聞き、見ている

連続対話モデリング：継続的に判断を下す「ミニターン（Mini-turns）」

ターン交替式のシステムは通常、相手の発話終了を待ってから回答生成を開始します。

対照的にGriffinでは、対話エンジンが会話中動き続けます。対話を極めて短い「ミニターン（微小ターン）」へと細分化し、各ミニターン内で複数の処理を並行して行います。

• リアルタイムな傾聴と注視：相手が話している最中であっても、アバター自身が発声している間であっても、入力チャンネルは常時開放されています。

• 発言権管理（Turn-taking）：ユーザーが発話途中で言葉を止め、同時に視線を上に向けた場合、視覚情報から「まだ思考中である」と判断し、沈黙を検出しても強引に割り込まずに自律的に待機します。

• 相づちによるフィードバック（Backchanneling / 相づち）：相手が長く話し続けている場合でも、発言権の交代を待つことなく、ミニターン内で適切なタイミングで「うん」「なるほど」と声を挟んだり軽く頷いたりして、真剣に聞いているというシグナルを送ります。

• 割り込み対応（Barge-in）：ユーザーが突然発話を開始した場合、システムは発話を継続するか、一時停止するか、あるいは発言権を完全に譲るかを瞬時に再決定します。

小さなチャンク単位で音声を生成し、再生しながら次の計算を進める

Griffinの音声システムは連続潜在表現を採用しています。まず音声を少数の連続数値ベクトルで表現し、デコーダーによって再生可能な波形へと復元します。その主要なプロセスは以下の通りです。

• Tavec 連続コーデック：48 kHzのハイファイ音声を連続潜在ベクトルへマッピングする畳み込みオートエンコーダーです。毎秒100フレームを処理し、各フレームはわずか40個の連続数値で構成され、離散コードブック探索を完全に排除しています。1分間の生音声は最大288万サンプル点に達しますが、Tavecにより6,000潜在フレームへと圧縮され、シーケンス長が劇的に短縮されます。

• 自己回帰拡散Transformer（VDiT）：わずか10秒程度の音声プレフィックスから高精度な音声クローニングを実行できます。文章全体のテキスト生成完了を待つのではなく、対話エンジンから届く制御信号のチャンクに応じて逐次音声を生成します。

• 最小10ミリ秒の音声パケット：完全因果的（Causal）なデコーダーと組み合わせることで、生成音声パケットを最小10ミリ秒単位まで微細化できます。最初の音声パケットは、後続の音声がまだ計算中であってもスピーカーへと送出され、即座に再生が始まります。

1枚の参照画像から人物全身と周辺環境を丸ごと生成

Tavusの従来の動画モデルは3D事前知識（あらかじめ導入された三次元構造情報）への依存度が高く、チームの説明によれば、これが複雑な手振、ダイナミックな身体の動き、変化する背景の表現を制約していました。

Griffinは拡散モデルベースのストリーミング映像生成へと移行しました。1枚の参照画像から、人物、身振り、衣服のシワ、椅子の揺れ、背後の影の投影に至るまで、フルピクセルの720p映像をリアルタイムに生成します。

このエンジニアリングの核心は、通常なら多段階の推論を要する双方向拡散モデルをストリーミング動作可能な生成器へと再構築した3段階の蒸留パイプラインにあります。

1. 分布マッチング蒸留（DMD）：数十ステップの推論を要する巨大な教師モデルを、ごくわずかなステップで推論できる高速な生徒モデルへと蒸留します（ただし、この段階では長尺映像を一括生成することしかできません）。
2. 教師強制型自己回帰化（Teacher Forcing）：過去フレームを条件とする自己回帰型アーキテクチャへと改変し、潜在特徴ブロックごとの逐次推論を実現します。
3. 自己駆動型ドリフト防止学習（Self-Forcing）：長時間の生成において、モデル自身が過去に生成したフレームに基づいて推論を継続させつつ、古い履歴フレームをより低い解像度で保持することで、長時間生成に伴う累積誤差を抑制し、計算負荷を制御します。

その結果、各潜在ブロックはわずか3回の拡散ステップで推論可能となり、25 fpsのフレームレート下において、8フレーム単位（320ミリ秒相当）のリズムで720p動画をリアルタイムに出力し、対話エンジンから送られる視線・表情・動作制御信号を即座に反映します。

「Simon Says（サイモン・セズ）」ゲームは、「Simon says」という指定プレフィックスを聞いた時のみ相手の動作を真似し、プレフィックスが省略された場合は指示を拒絶しなければなりません。公開デモでは、システムは音声コマンドを聞き分け、ジェスチャーを観察し、行動すべきかを判断した上で、手を挙げる、顔に触れる、髪を触るといった映像を生成します。ルールの理解、動作の認識、応答動作の生成がリアルタイムのインタラクションの中でシームレスに結合し、視覚情報が対話にいかに活用されるか、また全画面生成がもたらす豊かな身体表現力を明確に示しています。

---

評価ベンチマークの着眼点：文脈の理解と適切な応答の両立

NVIDIAの VideoFDB は、フルデュプレックス音声・動画対話を専門に評価するベンチマークです。モデルが視覚と音声を用いて相手を正しく理解できているか、また自身の声、表情、動作が適切に連動しているかを検証します。

このベンチマークは、実際の2者間ビデオ通話から抽出された237本のクリップで構成され、対人コミュニケーション学における11種類の重要な非言語ダイナミクス（沈黙中の視線移動、感情表出、ジェスチャー、割り込み、即座の笑い声など）を網羅しています。LLMジャッジが「知覚（Perception）」と「生成（Generation）」の2つのトラックを0〜5点のスケールで独立して採点します。

2つのトラックは個別に採点されるものであり、どちらか一方のスコアをモデルの汎用的な知能ランキングと見なすことはできません。

公式発表では「次点システムより約37%高い」「人間のパフォーマンスとの差を12倍以上縮めた」という表現で成果が要約されています。公開された生成総合スコアで計算すると、3.83は2.80に比べて約36.8%高く、人間リファレンス（3.92）との差は次点システムの1.12ポイントからGriffinの0.09ポイントへと縮小しており、前者は後者の約12.4倍に相当します。客観的に再計算できるのは評価スコアとその数値差であり、これをもって応答速度が37%向上した、あるいは総合能力が12倍になったと解釈することはできません。

NVIDIAが公開したリーダーボードデータからは、以下の2つの対比が読み取れます。

1. 生成トラック（AI自身の言動の自然さと情緒的な調和度を評価）：

   • 「Gemini 2.5 + Anam」など音声駆動アバターを用いた従来のカスケードパイプラインは2.80点にとどまりました。
   • 一方、Griffin-Liteは 3.83点 を獲得し、生身の人間の基準映像（3.92点）との差はわずか 0.09点 となり、同種の比較対象を大きく引き離しました。
   • 発話タイミングの適合度を示すTOR-Alignment（発言交代タイミング整合率）において、Griffin-Liteは62.8%に達し、カスケード型アバターの31%〜44%を大幅に上回りました。

2. 知覚トラック（ユーザーの視聴覚的文脈を理解し、適切なタイミングで応答する能力を評価）：

   • 15通りの評価構成の中で、Griffin-Liteは 3.73点 をマークして首位を獲得しました。
   • 音声のみで動作するMiniCPM-o 4.5（3.44点）、Google Gemini 2.5 Flash Native（3.17点）、視聴覚構成で動作するOpenAI gpt-realtime（2.75点）を上回る結果を示しました。

応答速度と時間的特性に関して、NVIDIAのベンチマークデータではGriffinの中央値応答時間は生成で1892ミリ秒、知覚で2232ミリ秒、発言交代整合率はそれぞれ62.8%と73.8%となっています。対照的に人間の基準値はそれぞれ900ミリ秒（78%）、1400ミリ秒（90%）です。またMiniCPM-o 4.5の視聴覚知覚応答時間は720ミリ秒に達しており、総合スコア首位が必ずしも最速の応答速度を意味するわけではないことが示されています。さらに、TavusがH100環境で報告している平均0.43秒は音声入力が画面に反映されるまでの動画生成器の遅延であり、10ミリ秒は1音声パケットに含まれる再生時間、320ミリ秒は1動画ブロックの再生時間です。これらは出力チャンクの粒度を示す数値であり、対話システム全体の往復応答遅延と同一視することはできません。

カメラを接続しても、映像が対話に生かされているとは限らない

主要モデルの横断テストにおいて、NVIDIAチームは「視覚能力を備える」と謳う多くの対話モデルに見られる2つの系統的欠陥を指摘しています。

• 第1の病：キャプション的縮退（Captioning Collapse） 動画映像を受け取ったモデルが、無意識に入力を「画像キャプション生成」タスクとして処理してしまう現象です。例えばMini-Omni2は、マルチモーダルテストクリップの最大87%において通常の対話相手のように会話せず、「あなたが濃い色の服を着ているのが見えます…」「あなたは椅子に座っているようです…」と口走り、会話を事実上の画像描写に変えてしまいました。

• 第2の病：視覚ストリームの軽視（Visual-Stream Ignorance） バックグラウンドで動画フレームのトークンを取り込んでいるものの、生成される応答のタイミングやテキスト内容が、音声のみの入力モードとほぼ同義の言い換えにとどまる現象です（gpt-realtime-miniなどで確認）。視覚入力が返答内容や発話タイミングの変化にほとんど寄与していません。

純粋な映像レンダリング性能において、TavusはGriffin-Liteの動画生成器と4つの主要ストリーミング拡散モデル（計5モデル）との間で、音声駆動動画の比較評価を実施しました。

• H100ハードウェア環境において、音声入力から画面上に視覚的変化が生じるまでの平均遅延は 0.43秒 であり、比較対象の中で最速だったベースラインの約半分に抑えられました。
• 映像品質指標であるDOVER（知覚的画質）、FID（フレーム分布の忠実度）、THEval（発話アバター総合ベンチマーク）の3項目すべてで 第1位 を獲得しました。
• リップシンク信頼度（LSE-C）ではGriffin-Liteが7.27で第2位となりました。これについてTavusは、LSE-Cが過度な口元の動きを自然さを超えて高く評価する傾向があるためと説明しています。日常の会話では過剰な唇の動きはかえってリアリティを損なうものであり、自然さを加味した総合評価フレームワークTHEvalではGriffinが首位に選出されています。

昇進の報告デモは、この協調性を直感的に示しています。ユーザーがまだ話している途中でアバターが笑顔を見せ、手を挙げて祝福し、声のトーンも弾んだものへと変化します。連続対話エンジンが声のトーン、表情、ジェスチャーの制御信号を生成側へ同時に渡すため、音声と映像が連動して祝福の意を伝えます。対面コミュニケーションにおいて、いつ・どのように応じるかは、相手が「しっかり話を聞いてもらえている」と感じられるかを大きく左右します。

---

日常の対話において、どのように寄り添えるのか？

静的なスコア評価を離れた動的なインタラクションにおいて、Griffinはどのような実用的能力を示すのでしょうか。Tavusが公開したデモでは、具体的な連携のあり方が示されています。

シナリオ1：感情的な共感と傾聴フィードバック

人間関係の悩みを打ち明けるデモにおいて、ユーザーはデートの後に角を立てずに断る方法について相談します。アバターはユーザーが話している間、視線をしっかりと合わせ、小さく頷き、ユーザーが自虐的な冗談を言った際には軽やかに微笑みます。その後、要点を押さえつつ配慮の行き届いたアドバイスを提示しました。ユーザーが1文ごとに発話を止めてシステムの応答を待つ必要がなく、終始自然なソーシャルリズムが保たれています。

シナリオ2：視覚的な小道具を取り入れた即興の受け答え

インタラクティブなストーリーリレーのデモでは、ユーザーが「手元にある小道具を使って物語を作るゲーム」を提案し、カメラの前に2つのアイテムを順に提示します。

1. まず緑色のぬいぐるみを提示：AIは「おもちゃが見えます」と機械的に告げるのではなく、物語の登場人物を即座に「普通の魚に変装した緑のモフモフした海底モンスター」へと仕立て、その緑の仲間を特工チームの隊長に任命します。
2. 続いて3x3ルービックキューブを提示：AIは巧みに話を拾い、キューブを「色を正しく揃えなければ隠された宝の座標を解読できないハイテク水中ナビゲーター」へと物語内で再定義します。

このやり取りは、周囲の視覚的要素が変化した際、会話の流れを遮ることなく、システムがそれを即座に対話のコンテキストへと組み込めることを示しています。

シナリオ3：伴走型の段階的ハンズオン指導

ルービックキューブの解法指導デモでは、ユーザーが下2層は揃っており最上層に青のバーが1本残っている状態であることを伝えます。AIは「小分けに進める」指導方針をとり、1回につき時計回りまたは反時計回りの明確な操作指示を3〜4手のみ伝えた後、「その手順が終わったら、上面をしっかりカメラに見せてください」と自発的に促します。揃い具合を確認した上で、次の回転手順へと進みます。 公開動画には2倍速で編集された箇所が含まれているため、応答速度の算出基準には適しません。ここで注目すべきは、指示を細かく分割して提示し、ユーザーの作業完了と結果の提示を待ってから次へ進む柔軟性です。

シナリオ4：時間経過の追跡とリマインド支援

基板のはんだ付け作業のデモにおいて、ユーザーはネジを締めた後、工具を取りに行きながら「はんだごての電源を入れた。温まるのに約12秒かかるから、時間になったら教えて」とAIに伝えます。AIは承諾して傾聴状態を維持し、適切なタイミングで「12秒経ちました」と声で知らせます。さらに、ユーザーが部品をはんだ付けする際には、「One Mississippi, Two Mississippi, Three Mississippi」と声を出して秒数を数え、圧着時間の管理をサポートしました。

---

1分の通話で26人が人間と判定：このテストが意味するもの

今回の発表においてTavusが最も強調している主張が、Griffinを「リアルタイム動画チューリングテストに合格した初のモデル」と位置づけた点です。

具体的な実験デザインと統計データの詳細は以下の通りです。

• 検証手法：独立した第三者プラットフォームを通じて参加者を募集し、「もう1人の参加者」と1分間のビデオ通話を行い、「今年最も楽しみにしていること」について話すよう案内しました。しかし、画面越しのパートナーは実際にはGriffin-Liteによって駆動される仮想アバター「PAL」でした。

• 統計結果：54人の参加者のうち、通話終了後に「人間と話していた」と判定した人は26人（構成比48%）に達しました。

• 過去システムとの比較：同一のテストプロトコルにおいて、Tavusの前世代システム（Phoenix-4.5 + Sparrow-2 + Raven-1によるカスケード構成）では、41人中わずか1人（構成比2.4%）しか人間と誤認しませんでした。

• 確信度と違和感：相手を人間だと判定したグループの平均確信度は79%でした。一方、違和感に気づいたグループの平均確信度は81%であり、その大半は開始20秒以内に疑念を抱いていました。

• 項目別評価（7点満点）：自然さで5.4点、信頼性で5.6点、再対話意欲で5.8点、傾聴姿勢の認識で5.5点を記録しました。一方、「会話の自然な流れ」のスコアは相対的に最も低く、4.9点となりました。

アンケートでは、相手がAIではないかと疑ったかどうかを最後に尋ねた上で、全員にAIであることを開示しました。また、参加者の半数以上が通話中に相手がAIである可能性を思い浮かべず、そのグループのほぼ全員が最終的に相手を人間と判定したと報告されています。相手をAIだと気づいた参加者であっても、再び話したいという意欲は5.4/7点と高水準を維持しており、AIだと認識したからといって対話を拒絶するわけではないことが示唆されています。

この主張は本質的に何を意味するのか？

動画チューリングテストが問うのは、通話相手が画面越しの対象を人間か機械か識別できるかどうかです。ビデオ通話では、回答の適切さ、語調と表情の一致、ジェスチャーの自然さ、適切なタイミングでの頷き・笑い・相づちなど、判断材料となる手がかりが格段に増加します。今回の研究でGriffin-Liteが54人中26人に人間と判定され、旧カスケードシステムの41人中1人を大きく上回ったことは、対面インタラクション全体を通じた人間らしさが顕著に向上したことを物語っています。Tavusはこの結果に基づき、リアルタイム動画チューリングテストに合格した初のモデルと呼称しています。

ただし、通話時間はわずか1分間であり、参加者は事前に「別の参加者」と話すと告知されていたにもかかわらず、なお28人は相手をAIであると見抜いています。また、報告書には業界共通の合格基準が示されていません。この結果を長時間の対話にそのまま拡大適用することはできず、機械に主観的な意識が生じたことを証明するものでもありません。示された進歩は具体的です。声、表情、対話リズムが総合的に改善されたことで、短いビデオ対話において、対話相手のかなりの割合に人間と話しているという感覚を抱かせられる水準に達したということです。

---

現在利用可能な対象と、今後解決すべき課題

短い通話の検証において半数近くの参加者が人間と誤認する水準に達した以上、AIである事実を明確に開示することがこれまで以上に不可欠となります。

Tavusは報告書の中で、この「諸刃の剣」の効果に明示的に言及しています。インタラクションを極めて自然にするメカニズムそのものが、利用者に相手を本物の人間であると誤認させるリスクを孕んでいるためです。そのためGriffin-Liteは現在、商用APIとして全面開放されておらず、「研究プレビュー（Research Preview）」として信頼できるごく少数のテスターにのみ限定公開されています。Tavusは安全開示機能の開発とさらなるアライメント・安全性評価を進めており、これらへの対応を経て提供範囲を拡大する方針です。

将来の応用シナリオとして、Tavusはいくつかの具体的な展開を提示しています。教育指導において講師が生徒の困惑した表情を察知して説明方法を即座に変える、職場でのコミュニケーション訓練において部下や上司との困難な会話を本物の人間相手のようにリハーサルする、日常の機器メンテナンスにおいて専門用語が分からなくても破損部品をカメラにかざすだけで共同で原因を究明する、さらには高齢者向けの日常的な情緒的見守りや対話支援などが挙げられます。

Griffinは現行のTavus顧客向けプラットフォームにはまだ統合されていません。現在プラットフォームの利用者が使用できるのは、Phoenix（顔生成）、Raven（視覚理解）、Sparrow（ターン管理）を組み合わせた従来型のアーキテクチャであり、旧モデルが利用可能であることはGriffinが利用できることを意味しません。実用化への取り組みはまだ初期段階にありますが、その真の価値は、ユーザーがシステムのぎこちない反応リズムに合わせて無理に気を遣う負担を解消することにあります。