同一个神经元，为什么既对猫脸有反应，也对汽车前脸有反应？Goodfire 的 Nick Cammarata 重新检查了自己早年参与研究的一个经典案例，提出了一种新的解释：让它响应的，可能是两者共有的尖形轮廓。这个发现让他重新思考，我们究竟该怎样研究神经网络内部的机制。

在视觉模型 InceptionV1 的 4e:55 神经元上，早先研究发现它同时响应“猫脸”与“汽车前脸”。当时的分析认为该神经元并未捕捉共同特征，而是将无关概念任意打包的多义性证据，进而推断网络内部充满了难以直接解读的叠加，必须依赖外部重构才能理解。

多年后，他重新看向那张包含猫脸与车头的激活样本网格，换了一个提问角度：先放下“猫”和“车”这些物体名称，只看让这个神经元产生强响应的图像，它们的形状有什么共同点？

他看到的是“尖形”（V-shape）。在这篇研究随笔中，Cammarata 据此提出一个工作假说：很多看似混杂的神经元，可能仍有能直接研究的功能与回路。后面的实验，就是在检验这条思路。

猫脸、车头与“多义性”的幻象

一旦跳出具体物体的名词分类，回到图像本身的轮廓，4e:55 神经元的连接回路立刻展现出清晰的逻辑。

追踪输入该神经元的上游回路，汇聚而来的信号包含了狐狸尖锐的吻部、灰狼收窄的面颊，以及厢式货车前脸倾斜的楔形轮廓；而在其下游，读取 4e:55 信号的回路则进一步连接到了跳跃的火焰、消防船喷射出的尖状水柱、郊狼的面部轮廓，乃至高脚马提尼酒杯的 V 形杯壁。无论是动物面孔、交通工具还是水流与火焰，这些物体在不同朝向上共享了尖形（pointed）这一几何模式，共同驱动了该神经元。

更关键的证据来自该神经元的负极响应。在神经网络中，神经元接收的加权输入在通过非线性激活函数之前，有正有负。当把视角转向那些将 4e:55 推向强烈负值的图像时，出现的并不是“狗”或“自然风景”这种抽象类别，而是高度一致的圆形与弧面：法国斗牛犬与斗牛獒犬敦厚圆润的面庞、盘旋的蜗牛壳、高尔夫球、草地网球以及正圆形的挂钟。

正极是尖形（V），负极是圆形（O）。该神经元的作用更像一道门控，在正负极之间区分尖锐与圆润的形态，将激活流导向不同的下游读者，而非在特征空间做严格的二元切分。在合成的特征可视化图中，猫脸带着胡须、车头带着金属格栅，是因为特征可视化算法在最大化神经元响应时，沿着网络已有的动物或机械通路走了阻力最小的路径，将整套关联特征勾勒了出来，从而误导了观察者。

同一个神经元，看到了什么共同点？

照片保持不变：从物体名称，切到原作者定位的响应区域。

看物体 看响应区域

▲ 正极方向（驱动激活） 尖形 / V-Shape

蝴蝶犬

狐狸

猫

皮卡车头

台球桌

高铁车头

▼ 负极方向（推向负值） 圆形 / O-Shape

法国斗牛犬

斗牛獒犬

蜗牛

高尔夫球

网球

钟表

原作者的自然图片样本与定位区域；切换仅帮助读图，不运行模型。同一类别中也有正、负响应：区分的是形状，正负不是好坏。

类似的误解还曾出现在另一个被称为“叠加现象始祖”的视觉回路上。在当年的记录中，研究者观察到一条传递汽车特征的连接通道，竟然一路延伸并分散扎入了一群看似毫不相关的“狗神经元”之中。当时的假说是：网络因为容量不足，把汽车特征“藏”到了高维空间的狗神经元缝隙里，等下游用到时再秘密提取出来。

但进一步的线路追踪打破了这种高维隐藏的猜想。汽车与狗之所以汇聚到同一批神经元，是因为它们共享了面向镜头的通用姿态（generalized pose）。InceptionV1 中存在上百个这类通用姿态神经元，能够跨类别响应相似朝向，供下游回路继续分化出更精细的特征阶梯。即使在参数量扩大十倍以上的视觉模型 DINOv2 中，这类跨物种、跨物体的通用姿态神经元依然稳定存在。

人类习惯用名词来理解世界，因而倾向于将神经元解读为“某某物体的探测器”。然而在神经网络自身的计算流中，神经元往往更像是一个动词或一道控制网关：它提取基础几何或语境特征，执行区分与分流。当观察者拿着名词清单去套用这些神经元时，原本干净优雅的几何切分，便在记录表上被记成了一团混乱的多义性杂凑。

显微镜的焦距与架构的演进

如果早期的标志性案例只是误读，为什么研究者当时对深层神经元如此悲观？

回顾早期的模型样本 InceptionV1，其最深层的神经元几乎让所有人望而却步。按照早年粗糙的解释工具评估，其最后一层能被人看懂的神经元比例极低，作者回忆与他引用的早期估计在 0% 到 5% 之间。当时占据主导地位的理论是“叠加假说”（Superposition Hypothesis）：深度网络末端需要表征的高阶特征远多于现有的神经元数量，因此模型不得不放弃将相关概念聚在一起的直观映射，转而容忍一定的干扰，把彼此不相关的特征压缩进有限的维度中。

按作者对这条研究路线的概括，如果原生神经元混合了难以分辨的特征，就需要借助稀疏自编码器（Sparse Autoencoder，SAE）等分解工具，寻找更容易解释的表示。他现在质疑的是：这种分解是否必须先于对原生神经元和回路的研究。

作者的对比实验提供了另一种解释：在他研究的这些视觉模型里，部分难以理解的现象，会随着观测工具和网络架构的改进而消失。

在观测工具层面，早期用于合成神经元最优图像的“特征可视化”技术存在明显的优化陷阱。由于 ImageNet 数据集中狗的图片极多，未加路径约束的梯度上升算法极易掉入狗类特征的局部极值中；只要稍加调整正则化项，引导梯度沿着自然图像激活的实际流向进行探索，原先模糊怪异的优化图案便迅速收敛为清晰具象的结构。

在架构层面，InceptionV1 缺乏残差连接（Residual Connections）与层归一化（LayerNorm）。残差连接原本是为了帮助深层网络更好训练而设计的，但它同时也让深层表征在概念上更加清晰。当保持完全相同的训练数据集与参数规模，改用具备残差结构的现代卷积网络（如 Medium ConvNeXt，参数量同为约 7.06M）时，最后一层的神经元表现出了截然不同的风貌：约 99% 的末层神经元展现出清晰、单一且极易辨识的语义判别功能。

为了客观呈现这种可读性的变迁，可以参考作者在不同条件下的粗估演进：

1. 采用早年未经修正的观测工具评估原生 InceptionV1 末层，可读神经元比例仅约 5%；
2. 换用修正了正则化与归因路径的现代观测工具后，同一批原生神经元的可读比例回升至约 50%；
3. 保持原有架构，仅采用现代正则化策略重新训练 InceptionV1，末层可读比例可达约 70%；
4. 在同等参数规模的 ConvNeXt 现代架构中，末层神经元的可读比例达到了约 99%。

这四个数字是作者在不同条件下的粗估，并非严格的单变量消融。它们支持的是一个具体判断：至少在这些模型中，工具与架构会显著影响我们能看懂多少神经元。

为了进一步测试当物理容量被极度压缩时网络是否会走向叠加，实验分别训练了跨度约 300 倍的三组独立 ConvNeXt 模型（Small 92k、Medium 7.06M、Large 28.6M），甚至人为将 InceptionV1 的中间特征层从 480 个神经元缩减至 10 个。如果网络在容量受限时必然走向叠加，那么这 10 个神经元理应充斥着曲线、橙色螺旋线条与蛛网等无关特征的重叠混杂。

然而实际观测到的现象并非混乱折叠，而是概念的“粗粒度化”（coarsening）：原本由 10 个不同神经元分别辨识的精细曲线，被合并整合进了一个通用的“曲线与环状”神经元中；圆圈检测器由多个变体收缩为两个基础形态。在分别训练的不同尺寸模型中，容量较小的模型倾向于用更宽泛的概念覆盖类别（如单个车辆神经元覆盖多种车），而拥有更多容量的独立大模型则会分化出具体区分出租车、救护车与敞篷跑车的细分单元。

递归泛化：概念是如何分枝生长的

如果深层网络即使在容量不足时也没有走向随机拼贴，那么早年模型中那些确实看起来杂乱无章的神经元，究竟在执行什么逻辑？

通过重新训练模型并连续追踪神经元在训练全程中的演化轨迹，研究者捕获到了一个普遍存在的结构演进模式：递归泛化（Recursive Generalization）。

以在重训模型末层追踪到的一个神经元为例：在训练初期，它最初响应金黄色的油菜花田，偶尔也包含油菜花丛中的狗。随着训练推进，这个神经元沿着所见图像的各个关联要素向外延伸：一条分支延伸向其他自然风光，另一条分支延伸向草地上的球体与水果，还有一条分支则延伸到了脱离花田背景的犬类。

在具备现代架构的 ConvNeXt 中，模型在后续训练中会逐渐舍弃这些偏离分支，将该神经元稳定锁定在花田核心语义上；而在原生 InceptionV1 中，这个神经元则沿着相邻切片持续过度生长，最终蔓延到狗甚至西兰花，以致最初的花田特征几乎被掩盖。

这种分枝生长并不是在毫无逻辑地把无关概念捆绑在一起，而是一个以核心概念为根基、逐级向外衍生出相邻叶片的树状过程。在大型语言模型中，这种现象同样随处可见： 作者用一个语言模型神经元的响应来说明这种关联：它对“iy”（如 Miyazaki 中的拼写片段）、“diy”以及完整短语“do it yourself”都有响应。“iy”与“diy”在拼写上相连，“diy”与“do it yourself”在含义上相连；最后一个短语里已经没有“iy”，仍能经由中间一步找到联系。

顺着中间一步，找到两个响应的关联

1. iy拼写片段
   例如 Miyazaki
   
2. diy包含相邻拼写片段
   同时也是一个缩写
   
3. do it yourself缩写展开为完整短语
   不再包含 iy

概念关联路径示意；这里的箭头不表示实测训练时间。中间的 diy 把看似无关的两端接了起来。

类似的案例还包括：一个辨识月球地质表面的深空地质神经元，其分支同时延伸到了三维地理与空间数据可视化 JavaScript 库“Cesium”的代码片段；一个识别“敌人”概念的神经元，其弱激活分支会延伸到包含敌人意象的俄语诗歌中。

作者用这条连续的生长路径，区分他讨论的两种混合方式： 叠加假说预测的混合是非局域的、无序的，它假定网络会把两件在语义空间中毫无交集的东西（例如下垂耳朵的狗与古罗马诗歌）打包在一起，仅仅因为它们极少同时出现； 而递归泛化呈现的混合是高度局域的、连续的。从“iy”到“diy”再到“do it yourself”，每一个中间节点都能在具体语义或训练语境中找到相邻的过渡路径。

对于这种分枝特性的机制起源，研究者提出了“电路竞速”（circuit racing）与“梯度饥饿”（gradient starvation）的理论猜想：当一个新的语境模式进入训练时，网络中那些已经具备成熟上下游通路、且其既有功能与新模式存在局部交集的神经元回路，往往能够以最快的速度率先捕获误差反向传播的梯度信号。这种抢跑优势使得既有回路能够迅速抢占剩余误差，从而使得那些尝试从零开始建立全新独立通用的竞争分支因缺乏梯度而逐渐萎缩。作者用这套机制尝试解释递归泛化。

弱激活、负极与语言模型中的上下文

即便强激活的中心逻辑得到了梳理，另一个长期困扰可解释性研究的疑问依然存在：神经元那片浩瀚而微弱的“弱激活长尾”里，是否依然隐匿着被压缩折叠的高维叠加信号？

为了检验弱激活的因果重要性，研究者在 Medium ConvNeXt 全部 18 个模块的 MLP 支路上执行了消融实验（残差旁路保持完好）：

• 当把这些分支中最微弱的 75% 正激活置零时，模型整体分类准确率仅从 72% 微降至 71%，约有十分之一（1 in 10）的预测改变了具体结果。
• 作为对照，当剔除最强的 7% 激活时，模型准确率立刻从 72% 跌落至 4%，约 96% 的预测发生翻转。
• 被剔除的最强 7% 激活与最弱 75% 激活，在统计上具有完全相同的总激活量。

审视那些在弱 75% 被删后预测改变的观察样本，变化主要体现为网络原本就易混淆的近缘品类之间的微调：爱斯基摩犬变为西伯利亚哈士奇、蚱蜢变为蟋蟀、惠比特犬变为萨路基猎犬、虎斑猫变为条纹猫。实验并未发现弱激活中打包着一套独立的全新特征。不过在视觉网络的早期层中，弱激活更接近连续调节的刻度盘（感知明暗对比），这类底层微弱激活仍具备实际作用。

转向现代语言模型时，关于神经元功能的误判往往来自于对另一维度的忽视：神经元的负极响应。

许多自动化可解释性工具在为大语言模型标记神经元时，仅仅通过抓取强正向激活文本来提炼摘要，这导致了大量严重的系统性偏见。在对开源大模型 Qwen 的研究中，一个神经元按照抓取到的正向单词原本被标记为“各国首都”，似乎平淡无奇；然而深入分析其负极连接时，却发现其强负值方向密集绑定着西方文化中关于圣诞老人（Santa）的各类传说与背景知识。

当研究人员针对性地将全网中负极携带圣诞老人信号的 8 个核心神经元进行因果干预剔除后，模型在面对经典圣诞谜题时，预测出“圣诞老人”的概率从原本的接近确定直接跌落至仅剩 6%，模型转而将送礼物的行为归咎为宠物（pet）；而作为对照，如果仅仅删除在正向激活标签中带有“圣诞”或“圣诞老人”字样的 20 个表面神经元，其预测概率仅仅微跌到 76%。

这一实验说明神经元的负极同样携带重要的功能信息。如果只关注正向排名的激活标签，就会漏掉负极上的关键节点，进而把定向的机制误读为不可解的杂音。

同样被标点符号掩盖真实意图的还有所谓“多义逗号神经元”。在分析 Qwen 模型时，自动化工具曾将某些在逗号处反复激发的神经元定性为功能混杂的标点检测器。然而深入分析这些句子的语义上下文会发现，这些逗号之所以发亮，是因为前方句式中持续累积着与美国科罗拉多州相关的背景线索（如区号 303、丹佛、绿辣椒、野马橄榄球队）。当研究者在隐空间中人工增强这个神经元的激活时，模型后续的文本续写逻辑明显转向了规划户外徒步。

在语言模型中，作者观察到注意力常会汇聚在标点符号上，形成一种“摘要模式”（summary motif）。模型常在逗号等标点处暂存前文推导出的地点或社会语境信息，供后续生成使用。如果不结合整句语境而仅看触发的标点位置，就容易将这些神经元误判为无规律的标点检测器。

此外，架构细节也会在观测中投射出虚假的多义性阴影。在现代大型语言模型普遍采用的 SwiGLU 激活单元中，神经元的最终输出由门控分支与数值分支相乘得出：输出 = SiLU(门控输入) × 数值输入。从纯粹的算术逻辑可知，当门控输入与数值输入同时为负值时，负负相乘依然会产生一个正向的输出激增。

这种“双负区间”（double-negative regime）是一种代数特性。在统计中，约有 4% 的神经元其顶部激活完全被这种双负回声主导。作者测试发现，在全模型范围内切断这种双负通道能提升多数基准（most benchmarks）的表现，却导致部分推理基准（reasoning benchmarks）性能下滑，具体原因仍待排查。将四种符号组合分开观察，能帮助研究者辨认哪些高响应来自这种双负组合；为什么切断它会损害部分推理任务，仍需要继续研究。

叠加与组合：如何真正检验一个解释

要从根本上理清可解释性领域的路线争议，需要分清“叠加”（Superposition）这一词汇的两种用法：

第一层定义是特征数量多于神经元维度（More features than dimensions）。 在这个层面上，几乎任何具备组合泛化能力的神经网络都天然满足这一定义。例如，只要网络拥有表示“红色”和“正方形”的两个神经元，通过二者的激活组合，它就能在没有专门“红正方形”神经元的前提下准确表征出“红正方形”。这种特征的分布式组合（Composition）不仅不是坏事，反而是深度学习能够以指数级效率表达复杂现实的核心优势所在。

第二层定义则是改变学习原则的无序打包（Arbitrary packing）。 这是早期叠加假说所主张的激进形态：它认为网络由于空间告急，放弃了基于相似性的归纳整理，开始把完全互不相干、下游也不会共同计算的特征硬塞进相同维度，赌它们在现实输入中几乎不会同时碰头。

这里的“无序打包”是作者对争议的界定。SAE 等工具试图从模型活动中分离出更容易解释的特征；这篇随笔要检验的是，原生神经元是否真的普遍难以理解，以及外部分解是否是必经步骤。

作者明确接受《Toy Models of Superposition》的实验结果，认为其推导严谨自洽。双方的分歧在于这一结论能否直接外推到真实网络：玩具模型预先定义了稀疏独立特征，通过少维瓶颈执行重建任务，缺少真实网络下游回路带来的复用收益，因而只计算了共享维度的干扰成本；而在真实网络中，特征是在具体数据与下游使用中生长出来的，几乎不存在完全孤立无关的概念。

在 ConvNeXt 的末层实验中，研究者审计了 SAE 提取的特征。作者指出，SAE 有助于回答“单张图片里有什么”，在神经元较粗粒度的最小模型中尤其有用；分歧在于它是否为理解网络的必经替身，而非主张停止使用。在末层实验中，SAE 约 88% 的激活活动（activity）是对单个神经元的近乎复制；剔除与既有神经元无直接对应关系的字典方向后，模型分类准确率保持不变（翻转的少数结果原本处于平局边缘）。SAE 捕获的少量额外特征大多是对既有神经元的场景聚合（如特定环境中的蜘蛛），并未发现全新的基础构建块。

既然外部重构并不能证明神经元的不可读，那么研究者应当如何检验自己对一个原生神经元的语义解释究竟是对是错？

为了避免“事后诸葛亮”式的语义附会，实验设计了一套极具对抗性的解释外推检验方法：盲最大化测试（Blind Maximum）。 在这套流程中，由第一个 Agent审计某个神经元的结构与激活，并撰写一段简明扼要的自然语言功能解释；随后，将这段文字解释交给完全无法接触该神经元权重与激活历史的第二个独立 Agent，要求其仅凭这段解释，凭空撰写一个它认为最能激发该神经元极限响应的测试句子。

在多项测试中，第二位 Agent仅凭文字解释写出的句子，激发出超过该神经元在 100 亿（10 billion）token 真实语料中的最高激活。这一现象表明强激活外推能够有力支持对神经元核心功能的解释，说明神经元像具有语义中心的靶盘，越贴近中心越能触发强响应，但这并不等同于直接的因果证明。

当然，盲最大化主要测试了解释是否精准击中概念的“中心”，而为了验证解释是否完整覆盖了神经元的“外延”，研究人员进一步引入了归因聚类与近似反例检验。 例如针对一个与宠物植入芯片相关的神经元，将其上游输入聚类为动物标记、迷路寻回与 RFID 识别技术三个语义方向，分别开展定向消融与激发测试。在针对 183 个具有明确正向解释的神经元开展的大规模盲测中：

• 根据功能解释生成的预测文本，成功使神经元产生强响应（达到语料最大激发的 30% 以上）的概率为 76%；
• 而专门撰写、用以考验边界模糊性的“近似反例”（near-misses）触发强响应的概率仅为 11%；
• 至于由 Agent 构造“尽可能遥远的概念”，触发强响应的概率仅约 1%（183 个神经元中有 179 个完全未被触发）。

在这 183 个具有明确正向解释的神经元中，根据解释写出的新文本，比近似反例和遥远概念更容易触发强响应。这支持了这些解释有预测能力，也为直接研究原生神经元提供了证据；它还不能排除其他神经元中存在不同的混合方式。

地图的拼合：大模型与可解释性的未来

这些视觉模型和受控实验，给出了继续研究现代语言模型的理由。接下来的问题是：同样的方法，在规模更大的模型中能走多远？

在对 Qwen3-32B 的初步抽样审计中，作者团队初步估计约 90% 的神经元极性拥有明确单一的主导任务（常伴有相关的局部递归泛化分枝），约 7% 表现为两项相关任务，仅约 2% 到 4% 尚未被理解。这一结论高度依赖于评估时对“单一任务”的界定标准与弱激活截断阈值，属于粗估的阶段性判断，不能等同于已经完全理解全网 90% 的机制。此外，超大语言模型缺少全程训练检查点，递归泛化的起源尚未获得同等详尽的历史轨迹验证。

在参数规模达数万亿级别的模型 Kimi K3 中，研究者追踪了一条关于归还钱包的归因回路：神经元连接将钱包、现金与证件识别，传导至失物与诚实概念，最终导向“归还”（return）决策。作者团队尚未完成对这种规模模型的全面审计，但初步观察到的神经元逻辑与较小模型保持了一致。

对于残差流（Residual Stream），神经元写入与读取的方向同样具备可解释性。在 ConvNeXt 投影实验中，残差流图景此前之所以难以看清，主要是因为一个数值极大的未读取坐标主导了整体几何，并通过层归一化（LayerNorm）影响了其他维度的尺度；扣除该坐标后，隐藏的几何结构便恢复清晰。即使将残差流维度压缩 4 倍和 8 倍（末层降至 46 维），准确率从 72% 降至 60% 与 39%，残差流内部图景仍大体相似，未出现交错折叠。

相比神经元，对注意力头（Attention Heads）的机制解析仍处于初步阶段。注意力头数量远少于神经元，其功能往往更为宽泛。通过追踪注意力头从哪些神经元读取信息并搬运至何处（例如将头痛、偏头痛神经元的输出汇总搬运至标点处的先兆子痫神经元），能够观察到具体的信息搬运通路，但这并不等同于已经全面理解注意力头本身。

理解一个庞大神经网络的过程，类似于逐步填满一张纵横字谜。 如果你孤立地盯着单个神经元，一旦它表现出轻微的语境发散，你便极易陷入困惑；但当周边的地图逐渐明朗——上游输入了什么几何先验、下游分支在何处执行分流、注意力头把哪里的上下文沉淀到了当前的标点上——来自四面八方的拓扑约束便会如同交叉字谜的横竖线索一般，将原本看似模糊的局部牢牢锚定在正确的语义位置上。

作者设想的可行路线，是依托能够自主提出假设、做消融干预并追踪归因的 Agent，结合邻近神经元与注意力的相互约束，像填字游戏一样逐步测绘网络回路。这一路线并不意味着模型安全或对齐问题已经解决，而是提供了一种不同的探索视角：

相比预设网络充满无法直视的叠加而依赖外挂模型重构，直接研究原生神经元与回路是一条值得尝试的路线选择。微观机制的分化与组合主要是为了被下游计算回路读取，随着观测工具的改进，网络内部机制可能比此前预想的更具可读性。