大脑怎么看动的世界：一块还没填的空白

大脑的视觉系统分工明确，经典说法有两条通路：认物体的腹侧流，管运动和行动的背侧流。但近些年发现还有第三条，专门处理社交信息，目前研究得最不透彻。

过去研究某个脑区偏爱看什么，靠人工精心挑选或设计静态图片，比如给认脸的脑区看一堆脸。近几年更进一步，用深度神经网络当编码模型预测大脑对图像的反应，甚至反过来合成能最大化激活某脑区的图片。但这些方法几乎全停留在静态图片上，而人的视觉本质是动态的，躲避障碍、追踪物体、判断别人的意图都靠连续变化的画面。视频的搜索空间比图片大得多，动态视觉一直缺一套能系统生成和评估刺激的方法，这是NEvo要填的洞。

先给大脑造一个能预演的数字分身

要演化出能点亮某个脑区的视频，第一步得先有一个能预测大脑反应的模型，作者管它叫数字孪生：给它任意一段视频，它能预测大脑视觉皮层里每一小块会有多兴奋。

技术上，骨干网络用V-JEPA 2（Meta的自监督视频理解模型），不取它最顶层的语义特征，而是抽多个中间层（第13、15、17、19、21、23块的注意力特征），在时间和空间上做平均。然后对每一个体素（voxel，fMRI里最小的三维空间单位，相当于给大脑做的像素点）单独做岭回归（一种把模型特征换算成预测脑区反应数值的统计方法），把模型特征映射到真实fMRI反应上。每个体素会被分配到在验证集上预测得最准的那一层，相当于让大脑不同位置对齐到模型的不同深度。训练数据用了两套真人fMRI数据集：看短视频事件的BOLDMoments，加一套社交互动数据集。

一个消融实验证明这个设计是对的：V-JEPA 2多层特征做的编码模型，明显打败常用的CLIP基线（CLIP是逐帧抽图像特征），而且多层特征都优于单层，说明用真正带时间维度的视频表征加分层编码很关键。

第一步：先造一个能预测大脑视觉反应的数字孪生模型。来源：EPFL NEvo项目主页。

把视频拆成基因，跑一场大脑版的物竞天择

有了能打分的数字孪生，下一步是搜索出能让目标脑区打分最高的视频。NEvo把一段视频拆成一串基因：主体、光照、运动、情绪、事件结构、镜头运动，每个基因从一个属性类别里选一个选项，拼成一句逗号分隔的文本prompt，喂给视频生成模型出片。

对照实验显示，这套进化搜索明显强过随机搜索，也强过基于梯度直接优化的对照方法BrainDiVE。BrainDiVE在动态视频这个场景里直接失败，生成的刺激激活值只有自然视频平均水平的24%，NEvo在每个数据点上都优于它。作者的解释是：进化式prompt搜索会把合成约束在语义有意义、时间上连贯的视频上，比梯度法更靠谱。

第二步：把视频当基因种群，用选择、交叉、变异演化prompt。来源：EPFL NEvo项目主页。

具体参数：每代种群规模 N=20，保留激活值最高的 30% 作为下一代的父母（精英选择）；交叉率 0.5，交换两个 prompt 之间的基因片段；变异率 0.2，随机重采样某个属性。遗传搜索对随机搜索的优势达到 Cohen's d=0.46（p<0.001），在这种高维 prompt 空间里也比爬山法（hill climbing，一种只往更好方向挪一小步的简单搜索）更稳。

先定一张图，再让它动起来

同时搜索画面内容和运动方式太贵，NEvo把这件事拆成两步：先搜出一张最能激活目标脑区的静态图当锚点，锁定画面后，再只搜怎么让它动起来。

第一阶段用快速图像生成器SDXL-Turbo（512×512单步出图）搜静态内容：主体、场景、纹理、光照，找出预测激活最高的一张当视觉锚点，花400次评估。第二阶段锚点图固定不动，只搜动态属性：运动方式、节奏、镜头运动、事件结构、互动类型，用图生视频模型LTX-Video 2.3（一个22B的蒸馏扩散Transformer，Gemma-3 12B当文本编码器，出256×256、24fps、2秒的短片）把锚点图动起来，花200次评估。消融实验证明两阶段确实优于单阶段（只搜图或只搜视频）。

两阶段拆分的收益在梭状回面孔区（FFA，管认脸）上很明显，因为它得先找到一张合适的脸当锚点，再优化动作；在运动区MT上收益不明显，因为MT本来就被运动丰富泛泛驱动，不挑具体画面。

第三步：先定一张最强的静态图，再让它动起来。来源：EPFL NEvo项目主页。

演化出来的视频，比真实世界的还对胃口

在FFA、PPA（场景区）、EBA（身体区）、MT、V3A、pSTS这些代表性脑区上测试，NEvo合成的视频表现超过了大量真实视频和专业设计刺激里最强的那批。

而且它成功复现了各脑区已知的偏好：FFA出现类脸内容，PPA出现场景，EBA出现身体，MT/V3A出现连贯运动，pSTS出现互动式动态。

动这件事本身也能额外点亮大脑，不只是画面好看。把优化好的视频和它自己的第一帧静态画面对比，动态视频平均能多激活一截：

运动区MT提升最明显，连传统上认为管静态类别的FFA也有可测量的提升。时间结构广泛地塑造视觉选择性，很多脑区确实更偏爱会动的东西。

为每个脑区量身定制的视频：FFA出脸、PPA出场景、EBA出身体、MT出运动、pSTS出社交场景。来源：EPFL NEvo项目主页。

沿着大脑外侧通路走一趟，视觉在变社交

这是全篇最有科学价值的发现。研究者用探照灯（searchlight，在皮层表面逐点扫描的分析方法）沿皮层表面从V1一路扫到前颞上沟（aSTS），逐个小块合成最强刺激，再自动给合成视频写一句话描述并聚成词云。结果呈现出一条平滑的梯度。

从低级空间结构，到身体运动，再到高级社交互动，是一条连续爬升的通路。属性和激活值的相关性也印证了这条梯度：

沿外侧通路往上走，视觉越来越社交：探照灯扫描加词云揭示梯度。来源：EPFL NEvo项目主页。

两个粘土圆盘，拆开脑区的癖好

最巧妙的一个对照实验：从一个完全非自然的画面出发，两个堆叠的橡皮泥圆盘，固定这张图，只优化它的运动。

同一个抽象起点，冲着不同脑区优化，会被逼出完全不同的特征，干净地把每个脑区偏爱的东西单独拎了出来。这套编码模型加基因化prompt加两阶段搜索的流程，为神经科学提供了一种假设驱动、可控刺激生成的新工具：给定任意脑区，都可以针对性演化出定制视频，用来单独检验该脑区的偏好假说，不需要研究者再手工设计成千上万张候选刺激图片。

用抽象刺激探针：从堆叠圆盘出发，为pSTS优化会长出类脸互动，为MT优化只出纯运动。来源：EPFL NEvo项目主页。

这仍然是预言，还不是实测

论文自己讲得很清楚：所有这些激活分数、哪个视频最强，都是数字孪生编码模型自己预测出来的，不是真人看了这些视频后测到的脑活动。

论文的定位是为真人（in vivo）实验提出新的、可检验的假说，作者在讨论里呼吁未来要做闭环脑成像去验证NEvo造的视频是否真能引起预测的大脑反应，这是这项工作最大的前提性限制。此外，合成刺激的结论会受编码模型自身偏差的影响，编码模型和视频生成模型都可能带偏差。目前的系统是纯视觉模型，没有声音，这限制了对像aSTS这类沟通往往依赖语音或视听线索的区域的刻画。结构化的prompt空间提升了可解释性，但也可能漏掉schema没覆盖的视觉维度。

这套系统叫 NEvo，思路是让 AI「自己演化」视频。先给大脑造一个「模拟器」，能预测任意一段视频会让大脑哪块、多兴奋，作者叫它「数字孪生」；再用一套模仿自然选择的办法，一代代淘汰、繁衍，逼出最能点亮目标脑区的那段视频。为了省算力，它还拆成两步：先快速搜出一张最强的静态「底图」，锁定画面后，再只优化「怎么让它动起来」。

把一段视频拆成一串「基因」（主体、光照、运动、情绪…），像育种一样：生成一批 → 用大脑模拟器逐条打分 → 留最强的 30% → 杂交加随机变异生下一代，分数一路爬升，最后演化出最能点亮目标脑区的那段视频。

最有价值的发现，是一张「大脑隐藏地图」。研究者用「探照灯」，像手电筒一样在大脑表面逐点扫过去，从最初级的视觉区一路扫到大脑前部，让每一小块都演化出自己的最强视频，再看它们各自爱看什么。结果呈现出一条平滑的过渡带。

越往大脑前面走，视觉越「社交」：从偏爱纹理色彩，过渡到偏爱运动和身体，再到物理互动，最后是面对面的社交接触。

还有个巧妙的旁证：给同一张完全抽象、不像任何东西的画面，两个叠着的橡皮泥圆盘，固定不动，只改它怎么动。

同一个起点，被「逼」出两种完全不同的偏好，等于把每块脑区的癖好，干净地单独拎了出来。

把成千上万段真实世界的视频，按「能点亮某个脑区」的强弱排成一队，AI 凭空演化出来的那段视频，会排到哪儿？

另外，让画面「动起来」这件事本身就能额外点亮大脑：优化好的视频比它自己的静止首帧（视频的第一格画面），平均多激活一截，运动区最明显（几乎翻倍），连传统上被认为只管静态的认脸区也有可测量的提升。