リサーチ解説・小互解説
Wan Streamer：聞きながら見ながら話すリアルタイムAI
モデル側の応答は約200ms、総遅延は約550ms。v0.1はまだ192pのみで、デモ映像は事前収録でありリアルタイム体験ではない。
ざっくり要点
- Wan Streamer v0.1は、ネイティブにストリーミング対応した端末間（end-to-end）の対話型基盤モデルで、同一のTransformer内で言語・音声・映像を入力と出力の両方としてモデル化し、block-causal attention（ブロック因果注意）で調整しながら、入力が来た端からストリーミングで生成する。
- モデル自身が応答を計算する時間は約200ms、これに双方向のネットワーク遅延350msを加えた総対話遅延は約550ms。25fpsでは、最短のストリーミング処理単位はわずか160msしかない。
- 公式は、単一の端末間Transformerで同期した音声・映像を出力し、かつ総遅延を1秒以内に抑えられる唯一のモデルだと謳っている。既存のシステムは、音声のみを出力する（GPT-4o Realtime、豆包、Gemini Live）か、ASR＋LLM＋TTS＋アニメーションという一連のモジュールを繋ぎ合わせるかのどちらかだ。
- 現行のv0.1は解像度がまだ192pしかなく、位置づけは端末間設計のコンセプト実証（PoC）だ。公開されているキャラクターデモはすべて編集なしの事前収録モデル出力であり、オンラインのリアルタイム体験ではない。
- 比較図の遅延数値には異なる測定基準が混在している。上のグループは端末間の対話クローズドループ、下のグループはレンダリング段階のみ（外部のLLM／ASR／TTSを含まない）を計算したもので、公式は注記を踏まえて割り引いて見るよう注意を促している。
⚑
これはWan Streamer公式発表ページ（ベンダー発の公式リリース）である。本文中の遅延、能力比較、「唯一」といった位置づけの表現はすべて公式由来で、一部の比較数値には異なる測定範囲が混在しており、該当箇所には本文中で説明を付している。
1これは何か
1つのモデルでリアルタイム音声・映像対話を実現
通义万相（Wan）チームが先日、Wan Streamer v0.1というリアルタイム音声・映像対話モデルを発表した。リアルタイムで対話できるAIは今や珍しくないが、あなたの顔を見ながら、話を聞きながら、口を開いて応答し、しかも自分自身が動く顔を持っている——そんなAIはほとんど存在しない。Wan Streamerはこれを1つのモデルに凝縮した。
同一のTransformer内で言語・音声・映像の入力と出力を同時に処理し、サブ秒レベルの全二重音声・映像対話を実現する。モデル自身が応答を計算するのに要する時間はわずか約200ミリ秒、ネットワーク往復を加えた総遅延は約550ミリ秒だ。
⚡
なぜ注目に値するか：現在リアルタイムで対話できるシステムは2種類に分かれる。1つは応答は速いが音声のみで見える顔がないもの（GPT-4o Realtime、豆包、Gemini Live）、もう1つは顔はあるが外部のASR、言語モデル、TTS、アニメーションという一連のモジュールで組み立てられているものだ。公式はWan Streamerを、単一の端末間Transformerで同期した音声・映像を同時に吐き出し、かつ総遅延を1秒以内に抑えられる唯一のモデルだとしている。
~200 ms
モデル側の応答遅延（公式報告）
~550 ms
総対話遅延＝モデル側200ms＋ネットワーク350ms
160 ms
25fpsでの最短ストリーミング処理単位
192p
v0.1の解像度、端末間設計のコンセプト実証
総遅延550msの内訳
モデル自体が占めるのはわずか200msで、残りの350msはネットワーク往復にかかる時間だ。つまり、モデル純粋の反応速度は、読み上げられる総遅延よりも実は速い。
2まず効果を見る
4本のキャラクターデモ＋リアルタイム画面録画
以下の4本のデモはすべて同一のモデルによるもので、人物・声・シーンを変えただけだ。まず効果を見てから、原理を説明する。
見る前にはっきりさせておきたい：これらはすべて編集なしの事前収録モデル出力であり、オンラインのリアルタイム体験ではない。現行のv0.1は解像度がまだ192pしかなく、端末間設計が機能するかどうかを検証するためのものだ。公式は今後より高い解像度への拡張は比較的容易だとしているが、それはあくまで計画であり、v0.1で既に実現されているわけではない。