ACTx486：既存のポッドキャストを、割り込んで展開を変えられる動画にする

動画を見ているとき、できるのは一時停止、早送り、シークバーを動かすことくらいです。画面の人が言ったことがわからなくても、その場で聞き返せません。「それって自分に関係あるの？」と思っても、動画は答えてくれません。

ACTx486 が変えようとしているのはそこです。これは研究デモで、作ったのは次の二人です。

• Karina Nguyen：Anthropic と OpenAI で研究に携わってきた人物。Anthropic では Claude 1〜3 のポストトレーニング（本体の学習を終えたモデルの振る舞いを調整する工程）と初期の claude.ai に関わり、OpenAI では o シリーズの推論モデル、GPT-4o、そして ChatGPT の Canvas（AI と一緒に文章やコードを直す共同作業画面）やタスクなどのプロダクトに関わりました。現在は自身の AI 研究会社 Thoughtful を立ち上げています。
• Jakub Zegzulka：チェコ出身のデザイナーで、インタラクションのプロトタイピング、AR、3D が専門。Meta では AR グラス Orion のインタラクション試作を、Apple のスペシャルプロジェクトグループでは AI と AR/VR の研究開発デザインを手がけ、OpenAI のデザインチームでもインターンとして ChatGPT の新プロダクトを試作しました。

一人は人と AI の協働を長く考えてきた人、もう一人は画面や 3D 空間にインタラクションを組み込むのが得意な人で、ACTx486 はその両方を使っています。二人は『ジョー・ローガン・エクスペリエンス』（The Joe Rogan Experience、米国で最も人気のあるインタビュー系ポッドキャストの一つ）のイーロン・マスクがゲスト出演した回を、「聞いて、応えて、見る人に合わせて変わる」動画に作り変えました。途中で画面をタップして質問すると、画面の中のマスクがこちらを向いて答えます。答え終われば、番組は元の場所から再開します。

まずは全体のデモを見てください。視聴者の Lia がソファでスマホからこの回を見ながら、何度も割り込みます。火炎放射器の仕組みを聞き、マスクにスターシップを取り出して分解してもらい、火星に連れて行ってもらい、ジョーにたばこをやめさせ、最後にジョーにマスクへキスさせます。画面上部の小さな文字に注目してください。REAL（本物の映像） と ARTIFICIAL（AI 生成） が切り替わり、どこが番組の元映像で、どこがシステムが生成した部分かを示しています。

最も大事な前提を先に書いておきます。生成された部分では、マスクとジョーの顔、声、発言はすべて合成で、本人たちはそれを言っていません。 このプロジェクトは番組とも二人の司会者とも無関係で、生成部分は画面上に表示されています。回答に使われる事実は公開情報から取られています。

なぜ新しいチャット画面ではなく、既存の動画を作り変えるのか

いまの生成 AI は、ほぼすべて空の入力欄から始まります。何が欲しいかは、自分で考えて自分で書かなければなりません。問題は、可能性は無限でも、負担はすべてユーザーにかかることです。たいていの場合、人が動画を開くのは流れに身を任せたいからで、脚本を書きたいからではありません。

そこで ACTx486 は逆をいきます。すでに完成した作品を土台にし、物語、テンポ、文脈はそこから借ります。何もしなければ普通のポッドキャストとして最後まで流れ、何か言いたければ応えてから元の流れに戻ります。この役割は 「マイクロディレクター」（microdirector） と呼ばれます。体験に影響を与えられるけれど、どこに向かうかを決める必要はない、という立場です。一言でいえば、基本は導いてくれて、関わるかどうかは自分で選べる ということです。

割り込んでも没入感が崩れないよう、多くの細部が動画そのものの一部に見えるように作られています。司会者の視線、話すタイミング、口調、映像、場面転換です。画面をタップすれば、質問、割り込み、話題の深掘り、映像の生成、言語の切り替え、スマホへの情報送信ができ、そのあと動画に戻れます。

デモの題材はポッドキャストですが、構想はもっと広く、どんな動画でも話しかけられるものになりうる というものです。Karina Nguyen は、これが人の学び方を根本から変え、教育を作り直すと考えています。たとえば授業動画を見ていて、わからないところを講師に直接聞いたり、見たいものをその場で実演してもらったりする使い方です。ただし、デモにはまだ教育の場面は含まれていません。

何ができるのか：12本のデモを順に見る

全体デモのほかに、各機能にそれぞれ短い動画があります。ここでは「どう答えるか」「どう画面を変えるか」「どうあなたを入れるか」「代わりに言わないこと」の四つに分けて見ていきます。まず比較用の一覧です。

言葉で伝わらなければ、その場で描いてくれる

図があったほうがわかりやすいとき、システムはリアルタイムで図を生成し、司会者の話のテンポに合わせて少しずつ描いていきます。もう一つの細部として、質問が曖昧なら司会者はまず何を聞きたいのかを確認します。

この場面では、元の番組でマスクが、自分が売った火炎放射器は「実は屋根用のバーナーにエアライフルのカバーを付けただけ」と話します。Lia がよくわからないと言うと、AI のマスクはまず「どこがわからない？」と聞き、Lia は火炎放射器の仕組みだと答えます。マスクは話しながら描きます。プロパンのボンベが圧力ラインにつながり、引き金でバルブが開き、ガスがノズルから出て、先端の点火装置で火がつく。説明が終わると番組は元の映像に戻り、ジョーが次の質問に移ります。

あなたが誰かを知っている

システムには視聴者のプロフィールがあるので、同じ質問でも人によって答えが変わります。残しておく価値のある情報はカードとしてスマホに送られ、動画の会話は止まりません。

Lia はほとんど LA に住んでいると話し、どこへ行けばいいか聞きます。AI のマスクは「もちろんテスラ・ダイナー」と答え、君向けにいくつか場所を送ると言い、おすすめがそのまま彼女のスマホに届きます。

話した言語で答えてくれる

司会者はそれぞれ独立して言語を切り替えられます。どの言語で聞いても同じ言語で、声と人柄はそのままに答えます。二人の司会者が別々の言語を話すこともでき、番組自体は元の英語のまま進みます。

Lia がイタリア語で「SpaceX とテスラ、どっちに投資すべき？」と聞くと、AI のマスクはイタリア語で答えます。第2四半期、テスラの売上は前年比26%増、SpaceX は92%増。ただしテスラは営業黒字で、SpaceX は赤字。「決めるのは君だよ、Lia」。そのあと Lia が「じゃあ英語に戻そう」と言い、番組が続きます。これらの数字は両社が公表した四半期報告によるもので、テスラの同四半期売上は282億ドル、営業利益は3億9800万ドル。SpaceX の売上は78億ドル、純損失は5億4100万ドルです。

一瞬だけを変える

一つの動作だけを指示でき、変更した瞬間の前後では元の会話がそのまま続きます。

元の回には、マスクが何かを吸うよく知られた場面があります。デモではその瞬間に吸わないよう指示され、AI のマスクが「わかった、吸わない」と答えます。その一コマを変えたあと、番組は元の映像に戻って続いていきます。

場面に置いた物は、そこに残り続ける

動画に 3D モデルの物体を加え、動かしながらやり取りを続けられます。途中で別の質問をしても、物体は最後に置いた場所に残り、何度追加で質問しても消えません。

Lia がマスクにスターシップを出して説明してと頼むと、スターシップのバージョン3のモデルが現れます。ステンレスの外殻は熱と強度と再利用のための設計で、4枚のフラップで大気圏を抜けていく。Lia が中を開けてと頼むと、メタンと酸素のタンクからそれぞれのラインが下のラプター3エンジンにつながり、上昇にも着陸にもそれを使うと説明します。最後に「点火」。

別の場所へ連れて行く

新しい世界に入り、アイデアを映像にすることもできます。そのあいだも元の会話は手を加えられないまま映像と同期して流れ続け、追加の質問はその世界の中で新しいセリフとして加わり、終わればスタジオに戻ります。

番組が「もし未来が二つあるなら……」というところで、Lia が「イーロン、火星に連れてって」と割り込みます。映像は火星に切り替わり、マスクの「一つの未来は、僕らが星々の間にいて、SF 映画のいいほうの話が本当になっている」という元のセリフがそのまま続きます。Lia がさらに火星の暮らしについて聞くと、AI のマスクは説明します。暮らしの中心は居住モジュールの中で、空気と水はリサイクル、電力は太陽光、物資は綿密に計画され、全員がシステムを保守し、建設し、食料を育てる。

変更はリセットされず、積み重なる

変更は次のターンに引き継がれます。服、物、場所、言語はすべて残ります。二つ目の依頼は一つ目を消すのではなくその上に積み重なり、番組が元の映像に戻るまで続きます。

この場面では、ジョーがマスクにテスラの工場にどれだけ時間を使っているかを聞いているところで、Lia が割り込み、ジョーにピンクのふわふわの耳とかわいい衣装をつけさせます。返ってくるのは「よし、かわいい耳だね。続けよう」。続けて Lia がマスクにテスラの工場を案内してと頼むと、ジョーはピンクのふわふわの衣装のまま一緒に歩きます。ロボットが車体を溶接し、その先でバッテリーとドライブトレインが車体と合わさり、「難しいのは各工程のペースをそろえること」。そのあと番組は、LA の地下に穴を掘る時間まであるというジョーの元の発言に戻ります。

二人一緒に、あるいは一人だけに

一つの依頼が場面全体に作用することもあります。二人の司会者が引きの画で一緒に動き、そのあと会話が再開します。Lia が二人に「今すぐテーブルに飛び乗って」と頼むと、「たぶんバカなアイデアだけど、やろう」と返ってきて、二人はテーブルに飛び乗ります。そのあと元の映像に戻り、テキサスの試験場の話が続きます。

一人だけに話しかけることもできます。話すボタンを押すと、質問はその瞬間画面に映っている人に届きます。回の終わりに、ジョーが「みんなありがとう」と言っているところで、Lia が「終わる前にイーロンにキスして」と言い、ほっぺへのキスで終わります。ユーザーがモデルにどこまでさせてよいのか、安全な線引きはまだ模索中です。

自分自身を画面に入れる

システムは視聴者のカメラを使って、視聴者本人を場面に入れられます。視聴者の画像をシステムのコンテキストに加える仕組みです。デモでは Lia が「ジョーの代わりにインタビューしていい？」と聞き、画面の司会者が「Lia、僕の席に座って」と言うと、Lia 本人がスタジオに現れて座り、「UFO って本当にいるの？」と質問します。AI のマスクは、UFO は「未確認飛行物体」という意味にすぎず、宇宙人という意味ではない、「Lex のポッドキャストでも言ったけど、宇宙人の証拠は見たことがない」と答えます。この発言は、マスクが Lex Fridman のポッドキャスト第400回で語った内容の言い換えです。セリフは生成されたものですが、中身は本人が実際に言ったことから引かれています。

本人に代わって言わないこともある

実在の人物に代わって話すとき、このシミュレーションには線引きがあります。回答はその人の公開された記録に基づき、その声で言ってよいこと、いけないことはルールで決められています。

Lia が「イーロン、誰に投票すればいい？」と聞くと、AI のマスクは「それは難しい質問だね。本物のイーロンの代わりに答えられない話題もある」と答え、元の番組に戻します。

なめらかに見えるが、まだリアルタイムではない

デモの応答は、どれも実際にシステムが生成したものです。依頼をどの処理に回すか判断し、調べ、答えを書き、各場面を生成しています。ただし 一回のやり取りを最後まで終えるには、今は数分かかります。つまり、デモはすべて事前に生成したもので、その場で反応したものではありません。

理想的な応答時間は6秒以内ですが、まだそこには届いておらず、チームはさまざまな方法を試しています。この点が、これらの動画の見方を決めます。示しているのはこの種のメディアが何になりうるかであって、今日使える製品ではありません。

限界とリスク

• 偽造にも使える：人の顔、声、しぐさ、知識、反応を再現できる能力は、そのままディープフェイクにも使えます。
• 実在の人物を、本人の同意なく使っている：デモではマスクとジョーの本物の顔、声、番組映像が使われています。
• 本当の発言と作られた発言が混ざる：一回のやり取りに、元の発言、本人の声で生成された新しい発言、本人の実際の発言を引いた生成セリフが同時に入りえます。見分ける手がかりは画面の REAL/ARTIFICIAL 表示で、システムの編集記録に従い、元映像が止まる場所と再開する場所で切り替わります。
• ガードレールはまだ不十分：いまある制限は三つだけです。司会者は番組の後半に出てくる内容を使えない。システムは調べ終えてからでないと回答に使えない。本人に代わって個人的・政治的な質問には答えない。「他人として話す」メディアに必要な、より広い信頼と安全の仕組みはまだ作られていません。

まだ答えの出ていない問い：主導権は誰のものか

このプロジェクトは、「動画に話しかけられたらどうなるか？」という単純な問いから始まりました。ACTx486 の答えは、既存のメディアも耳を傾け、応え、見る人に合わせて変われる、というものです。

答えの出ていない問いも一つ残っています。作品に見る価値があるのは、編集、テンポ、何を言い何を言わないかといった、誰かが代わりに下した選択があるからでもあります。視聴者が主導権を持つほど、その部分は減っていきます。視聴者がどこまで主導権を持ち、作り手がどこまで残すべきかは、まだ模索が続いています。