脳はどう動く世界を見ているのか：まだ埋まっていない空白

脳の視覚システムは分業が明確で、古典的な説では二つの経路がある：物体認識を担う腹側経路と、運動と行動を司る背側経路だ。しかしここ数年、社会的情報を専門に処理する第三の経路も存在することが発見されており、現時点で最も研究が進んでいない。

これまである脳領域が何を好んで見るかを研究するには、人手で入念に静止画を選んだり設計したりするしかなかった。例えば顔認識を担う脳領域に大量の顔画像を見せるといった具合だ。ここ数年ではさらに一歩進み、深層ニューラルネットワークを符号化モデルとして脳の画像への反応を予測し、さらには逆にある脳領域の活性化を最大化する画像を合成することまで行われるようになった。しかしこれらの手法はほぼすべて静止画にとどまっており、人間の視覚は本質的に動的なものだ——障害物を避ける、物体を追跡する、他人の意図を判断する、これらはすべて連続的に変化する映像に頼っている。動画の探索空間は画像よりはるかに広く、動的視覚には刺激を体系的に生成・評価する手法がずっと欠けていた。これがNEvoが埋めようとしている穴である。

まず脳のために「リハーサル」できるデジタル分身を作る

ある脳領域を点灯させる動画を進化させるには、まず脳の反応を予測できるモデルが必要になる。著者はこれを「デジタルツイン」と呼ぶ：任意の動画を与えると、脳の視覚皮質の各小区画がどれだけ興奮するかを予測できる。

技術的には、バックボーンネットワークにはV-JEPA 2（Metaの自己教師あり動画理解モデル）を用い、その最上層の意味特徴ではなく、複数の中間層（第13、15、17、19、21、23ブロックのアテンション特徴）を抽出し、時間・空間方向で平均を取る。そして各ボクセル（voxel、fMRIにおける最小の三次元空間単位で、脳のためのピクセルに相当する）ごとに個別にリッジ回帰（モデルの特徴を脳領域の反応値の予測に変換する統計手法）を行い、モデルの特徴を実際のfMRI反応にマッピングする。各ボクセルは検証セット上で最も予測精度の高かった層に割り当てられ、脳の異なる部位をモデルの異なる深さに対応させることになる。訓練データには2種類の実人fMRIデータセットを使用した：短い動画イベントを見るBOLDMomentsと、社会的相互作用のデータセットである。

あるアブレーション実験がこの設計の正しさを証明している：V-JEPA 2の多層特徴で構築した符号化モデルは、よく使われるCLIPベースライン（CLIPはフレームごとに画像特徴を抽出する）を明確に上回り、しかも多層特徴はどの単一層よりも優れていた。これは真に時間次元を持つ動画表現と階層的符号化を用いることが重要であることを示している。

ステップ1：まず脳の視覚反応を予測できるデジタルツインモデルを作る。出典：EPFL NEvoプロジェクトホームページ。

動画を「遺伝子」に分解し、脳版の自然選択を走らせる

スコアを付けられるデジタルツインができたら、次のステップは目標脳領域のスコアが最も高くなる動画を探索することだ。NEvoは1本の動画を一連の「遺伝子」に分解する：被写体、照明、運動、感情、イベント構造、カメラワーク。各遺伝子は一つの属性カテゴリーから一つの選択肢を選び、カンマ区切りのテキストプロンプトに組み立てて動画生成モデルに渡し、映像を生成させる。

対照実験の結果、この進化的探索は明らかにランダム探索より優れており、勾配に基づいて直接最適化する対照手法BrainDiVEよりも優れていることが示された。BrainDiVEは動的動画というシーンでは端的に失敗し、生成された刺激の活性化値は自然動画の平均水準のわずか24%にとどまり、NEvoはすべてのデータ点でこれを上回った。著者の説明によれば、進化的プロンプト探索は合成を意味的に意味のある、時間的に一貫した動画に制約するため、勾配法よりも信頼できるという。

ステップ2：動画を遺伝子集団と見なし、選択・交叉・変異でプロンプトを進化させる。出典：EPFL NEvoプロジェクトホームページ。

具体的なパラメータ：各世代の集団規模 N=20、活性化値が最も高い30%を次世代の親として残す（エリート選択）；交叉率0.5で二つのプロンプト間の遺伝子断片を交換；変異率0.2でランダムにある属性を再サンプリングする。遺伝的探索のランダム探索に対する優位性は Cohen's d=0.46（p<0.001）に達し、この高次元プロンプト空間においても山登り法（hill climbing、より良い方向へ少しずつ進むだけの単純な探索）より安定している。

まず1枚の画像を定め、それから動かす

画面の内容と動きの方式を同時に探索するのはコストが高すぎるため、NEvoはこれを二つのステップに分解する：まず目標脳領域を最も活性化できる静止画を探し出して「アンカー」とし、画面を固定した後、それをどう動かすかだけを探索する。

第一段階では高速画像生成器SDXL-Turbo（512×512でワンステップ生成）を使って静的内容——被写体、場面、テクスチャ、照明——を探索し、予測活性化が最も高い1枚を視覚的アンカーとして見つけ出す。ここに400回の評価を費やす。第二段階ではアンカー画像を固定したまま、動的属性——動きの方式、リズム、カメラワーク、イベント構造、相互作用のタイプ——だけを探索し、画像から動画を生成するモデルLTX-Video 2.3（22Bの蒸留拡散Transformerで、Gemma-3 12Bをテキストエンコーダーとして使い、256×256、24fps、2秒の短い動画を生成する）でアンカー画像を動かす。ここに200回の評価を費やす。アブレーション実験により、二段階方式が単一段階（画像のみ、または動画のみを探索する）より確かに優れていることが証明されている。

二段階分割の効果は紡錘状回顔領域（FFA、顔認識を司る）で顕著に現れる。まず適切な顔を1枚アンカーとして見つけてから動作を最適化する必要があるからだ。一方、運動領域MTでは効果があまり見られない。MTはもともと豊かな運動によって広く駆動されるもので、具体的な画面を選り好みしないためである。

ステップ3：まず最も強力な静止画を定め、それから動かす。出典：EPFL NEvoプロジェクトホームページ。

進化させた動画は、現実世界のものより「好み」に合う

FFA、PPA（場面領域）、EBA（身体領域）、MT、V3A、pSTSといった代表的な脳領域でテストしたところ、NEvoが合成した動画のパフォーマンスは、大量の実写動画や専門設計刺激の中で最も強い部類を上回った。

さらに、各脳領域の既知の好みを見事に再現している：FFAには顔に似た内容が、PPAには場面が、EBAには身体が、MT/V3Aには一貫した運動が、pSTSには相互作用的な動きが現れる。

「動く」ということ自体も脳を追加で点灯させる、画面が良いだけではない。最適化済みの動画とその1コマ目の静止画を比較すると、動的動画は平均してより多く活性化することが分かる：

運動領域MTの向上が最も顕著だが、従来静的なカテゴリーを司るとされてきたFFAでも測定可能な向上が見られた。時間構造は視覚的選択性を広く形作っており、多くの脳領域は確かに動くものをより好んでいる。

各脳領域向けにあつらえた動画：FFAは顔、PPAは場面、EBAは身体、MTは運動、pSTSは社会的場面を生成する。出典：EPFL NEvoプロジェクトホームページ。

脳の外側経路を一巡りすると、視覚は「社交的」になっていく

これが本論文全体で最も科学的価値の高い発見だ。研究者はサーチライト（searchlight、皮質表面を点ごとにスキャンする分析手法）を使い、皮質表面に沿ってV1から前上側頭溝（aSTS）まで一気にスキャンし、小区画ごとに最強の刺激を合成した上で、合成動画に自動で一文の説明を付けてワードクラウドにまとめた。結果は滑らかな勾配を示している。

低次の空間構造から身体運動へ、さらに高次の社会的相互作用へと、連続的に上昇していく経路である。属性と活性化値の相関もこの勾配を裏付けている：

外側経路を上っていくにつれ、視覚はますます社交的になる：サーチライトスキャンとワードクラウドが勾配を明らかにする。出典：EPFL NEvoプロジェクトホームページ。

二つの粘土円盤が、脳領域の「くせ」を解き明かす

最も巧妙な対照実験はこうだ：完全に不自然な画面、二つの重なった粘土の円盤から出発し、この画像を固定したまま、その動きだけを最適化する。

同じ抽象的な出発点であっても、異なる脳領域に向けて最適化すると、まったく異なる特徴が引き出され、各脳領域が好むものだけをきれいに単独で取り出すことができる。この符号化モデル＋遺伝子化プロンプト＋二段階探索という一連の流れは、神経科学に対して仮説駆動型・制御可能な刺激生成という新しいツールを提供する：任意の脳領域が与えられれば、それに向けてカスタム動画をピンポイントで進化させ、その脳領域の好みに関する仮説を個別に検証できる。研究者がもはや何千枚もの候補刺激画像を手作業でデザインする必要はない。

抽象的な刺激プローブを使う：重なった円盤から出発し、pSTS向けに最適化すると顔のような相互作用が生まれ、MT向けに最適化すると純粋な運動だけが生まれる。出典：EPFL NEvoプロジェクトホームページ。

これはまだ「予言」であり、実測ではない

論文自身が明確に述べている：これらの活性化スコアや、どの動画が最も強いかは、すべてデジタルツイン符号化モデル自身が予測したものであり、実際の人間がこれらの動画を見た後に測定された脳活動ではない。

論文の位置づけは、実際の人間（in vivo）実験のための新しい検証可能な仮説を提示することであり、著者は考察の中で、今後クローズドループの脳イメージングを行い、NEvoが作った動画が本当に予測通りの脳反応を引き起こすかどうかを検証すべきだと呼びかけている。これがこの研究の最大の前提的な限界である。また、合成刺激の結論は符号化モデル自身のバイアスの影響を受けうる——符号化モデルと動画生成モデルの両方にバイアスが含まれている可能性がある。現在のシステムは純粋な視覚モデルで、音声がない。これはaSTSのような、コミュニケーションがしばしば音声や視聴覚の手がかりに依存する領域の描写を制限している。構造化されたプロンプト空間は解釈可能性を高める一方で、スキーマがカバーしていない視覚的次元を見落とす可能性もある。

このシステムはNEvoと呼ばれ、発想はAIに動画を「自ら進化」させることにある。まず脳のために「シミュレーター」を作り、任意の動画が脳のどこを、どれだけ興奮させるかを予測できるようにする。著者はこれを「デジタルツイン」と呼ぶ。そして自然選択を模したやり方で、世代ごとに淘汰・繁殖を行い、目標脳領域を最も点灯させられる動画を絞り出す。計算コストを抑えるため、これはさらに二つのステップに分けられる：まず素早く最も強力な静止「ベース画像」を探し出し、画面を固定してから、「どう動かすか」だけを最適化する。

1本の動画を一連の「遺伝子」（被写体、照明、運動、感情…）に分解し、品種改良のように：バッチを生成 → 脳シミュレーターで一本ずつスコア付け → 最強の30%を残す → 交叉とランダム変異で次世代を生み出す。スコアはどんどん上昇し、最終的に目標脳領域を最も点灯させる動画へと進化する。

最も価値のある発見は、脳の「隠れた地図」である。研究者は「サーチライト」を使い、懐中電灯のように脳の表面を点ごとにスキャンし、最も初期の視覚野から脳の前部まで一気に進み、各小区画にそれぞれ自分にとって最強の動画を進化させ、それぞれが何を好むかを見た。結果は滑らかな移行帯を示した。

脳の前方に進むほど、視覚はより「社交的」になる：テクスチャや色を好むことから、運動や身体を好むことへ移行し、さらに物理的な相互作用へ、最後は対面での社会的接触へと至る。

もう一つ巧妙な傍証がある：まったく抽象的で何にも似ていない同じ1枚の画像——重なった二つの粘土の円盤——を固定したまま、その動き方だけを変えるというものだ。

同じ出発点から、まったく異なる二種類の好みが「絞り出される」——これはつまり、それぞれの脳領域の「くせ」をきれいに単独で取り出したことになる。

何千何万本もの現実世界の動画を、「ある脳領域をどれだけ点灯させられるか」の強さで一列に並べたとき、AIがゼロから進化させたその動画は、いったいどこに並ぶのだろうか？

さらに、画面を「動かす」ということ自体が脳を追加で点灯させる：最適化済みの動画は、自分自身の静止した1コマ目（動画の最初の1コマ）と比べて、平均してより多く活性化する。運動領域で最も顕著で（ほぼ倍増）、従来静的なものだけを担うとされてきた顔認識領域でも測定可能な向上が見られる。