大模型只干一件事：猜下一个词

一个语言模型，就是给它一段文字，它给出「下一个词可能是什么」的概率。给它「The cat sat on the（猫坐在……）」，mat（垫子）、floor（地板）、chair（椅子）会拿到高概率，democracy（民主）拿到极低的概率。

它写文章的方式，就是把这个动作重复几百遍：算一遍概率，挑一个词接上去，把接上去的词也算进前文，再算下一个。下面这个演示可以自己点，一步一步走完这个循环。

为什么算一串词的概率就够了？概率论里有个恒等式叫链式法则（是恒等式，不是假设）：一整段话出现的概率，可以拆成「第一个词的概率 × 给定第一个词、第二个词的概率 × 给定前两个词、第三个词的概率……」这样一串连乘。所以只要能算「给定前文，下一个词是什么」，整个语言就建模完了。大模型的全部任务就这一件。

难在哪：上下文的组合数比宇宙的原子还多

难点不在这个式子，在于「前文」有多少种。假设词表里有 5 万个 token，那 10 个词的上下文就有 5 万的 10 次方种组合，这个数比可观测宇宙里的原子总数还大。查表是不可能的，你没法给每一种前文都存一张概率表。

所以必须学一个能举一反三的函数：见过「猫坐在垫子上」，就该会处理「狗趴在地毯上」。整篇论文剩下的部分，都在讲这个函数长什么样。

机器不认字：先把词变成点，意思近的挨着放

最省事的做法是给每个 token 编个号：1 号词、2 号词……数学上写成一个只有一个位置是 1、其余全是 0 的长向量。但这么干等于宣布所有词彼此无关：「猫」和「狗」的距离，跟「猫」和「然而」的距离一样远。这显然不对，猫和狗都是动物、都是宠物、都是名词。

换个做法：把每个词表示成一个高维空间里的点（现实中通常是 1000 到 10000 维），意思或语法功能相近的词放得近，不相干的放得远。这些坐标由训练过程自己定出来，没有一个是人手工填的。这套表示法有个通用叫法：embedding（词向量），把一堆离散的词嵌进一个连续的空间里。用统计学的老概念对照，它干的事和主成分分析（PCA）同类：把一大堆属性压进比较少的几个维度，压出来的维度可能有直观含义，也可能没有。

这个思路有语言学的根：1957 年语言学家 J.R. Firth 说过一句后来被反复引用的话，「观其伴而知其词」（You shall know a word by the company it keeps）。出现在相似上下文里的词，意思往往相近。模型学词向量，靠的正是这条规律：能在很多句子里互相替换的词，最后拿到的向量就相似。2013 年的 word2vec 证明这条路走得通，还留下了那个著名的例子：king − man + woman ≈ queen。

可一个词常有好几个意思，一个点装不下

点画好了，新问题马上来。看英文里的 bank：

所以真正要算的是随上下文变形的点：同一个 bank，在存钱那句里靠近「钱」，在散步那句里靠近「河」，由周围的词把它塑形。给每个词配一个固定的点，到这里就不够用了。整个 transformer 架构的存在，就是为了完成这一次塑形。

attention 听着玄，其实就是算个加权平均分

到这里是全文的心脏。作者对 attention 的去魅只有一句话：它在数学上就是加权平均。唯一的巧妙之处在于，权重由模型从数据里学出来，没有一个是人定的。

拿「The cat sat on the mat」举例，现在要给 sat 算一个带上下文的新表示。cat 是主语（谁在坐），分量应该大；mat 是地点，分量中等；the 是个功能词，分量应该小。把这些分量当权重，把各个词的内容按权重平均一下，出来的就是「知道了上下文的 sat」。

这里作者换了两个词：他把行话里的 attention score 叫作影响力分数，把 attention weight 叫作影响力权重。理由是后者说清了这个数在计算里干什么，前者只是个拟人的比喻。

分量怎么算出来：点积

两个向量方向越一致，它们的点积越大；方向相反，点积是负数。选点积的理由有两条：它是所有关联度量里最简单的一个，算起来快；而且它可导，可导才能用梯度下降去学。

为什么不直接拿词向量点积，非要先过三个矩阵

行话里那三个矩阵叫 Query、Key、Value；作者拒绝用这套数据库比喻，改用中性记号 W^A、W^B、W^C，理由是位置 i 并没有在「查询」任何东西，这里既没有数据库，也没有什么被「查找」出来。

把词向量各自先过一道线性变换再点积，是为了解决两个具体的毛病：

第二条用原文的例子最好懂。还是算 sat 的表示：

「我跟这个动词有关系」和「我是一只猫」，本来就是两组不同的信息。把它们拆进两个矩阵，模型才有能力分开学。至于这三个矩阵里装的是什么，一开始全是随机数，什么也提取不出来；是在几万亿 token 的训练里被反复调整，才逐渐变成有用的特征提取器。这些结构是被找出来的，不是被规定的。

分数变成分量：softmax 的真名

点积出来的分数有正有负，不能直接当权重用。要先除以一个 √k（k 是向量的维度，除它是防止数值太大出问题），再套一次指数归一化，把一串实数变成一组非负、加起来正好等于 1 的权重。

再给数学口味的读者两条附注。其一，整个影响力分数在数学上是一个双线性形式，把它拆成两个较小的矩阵相乘叫低秩参数化，好处是参数更少、也起到防过拟合的作用。其二，这些矩阵不是唯一确定的：给它们同时乘一个正交矩阵，预测结果分毫不变。所以别指望拆开某个矩阵去读懂它「学到了什么」，这跟因子分析里因子只能确定到一个旋转为止，是同一个老问题。

「多头」不神秘：几十套一起学，分工自己长出来

一套 W^A/W^B/W^C 只能学出一种影响力模式。可词与词之间的关系不止一种：主语和动词是句法关系，近义词之间是语义关系，代词指回前面的某个名词是指代关系，挨着的词又常有语法上的牵连。

做法：并行放 H 套矩阵，各学各的，最后把各套的输出拼起来再投影回原来的维度。实践中 H 通常是 12 到 96。

行话管每一套叫一个 attention head（注意力头）。这个词招来了作者全文最重的一段批评：head（头）暗示它是设计好的、各有分工的部件，像硬盘的读写头那样各自负责读取特定的数据。实际情况正相反，

这件事在统计学里也有对应物：因子分析里各个因子也会分化，原因同样是分头解释不同的变异来源更划算，没有谁给它们分配过角色。所以作者建议把这些并行的东西叫「关系组」（relations），承认当初的架构灵感来自语言学，同时承认学出来的模式只是部分对得上语言学的分类。

堆几十层、记住谁先谁后，这台机器就齐了

一轮加权平均只够让每个词吸收近处的信息。可有些依赖跨得很远，比如这句：

「那位发现了高温超导体的科学家，获得了诺贝尔 ____ 奖。」

空格里大概率是「物理学」，但要判断出来，得把「诺贝尔奖」一路连回中间那个长长的从句之前的「超导体」和「科学家」。解法是把加权平均这个操作堆很多层，一层的输出当作下一层的输入。现代大模型堆 32 到 128 层，每层都有自己完整的一整套参数，层与层之间什么都不共享。这就是参数量爆炸的来源：一个 12288 维、96 层、每层 96 组关系的模型，光这些矩阵就是几百亿个数字。

每层配的三样东西，各治一个毛病

非线性变换治的是「白堆」。最常见的做法叫 ReLU，动作只有一个：把负数全变成 0。不加这一下，多层线性变换会塌缩成一层（线性套线性还是线性），堆再多层也等于没堆。

残差连接治的是训练传不回去。每层不重算整个表示，只做一次增量修正：输出 = 输入 + 修正量。训练时要把预测误差从最后一层反向传回第一层（这个算法叫反向传播），一路连乘的导数会指数级缩小，早期的层最后收不到任何信号，这就是「梯度消失」。加法结构保证导数里永远带着一条恒等通道，信号有路可回。

归一化治的是数值跑飞。每做完一步就把向量拉回均值 0、方差 1，免得数字在几十层里越滚越大或越滚越小。

还差一件事：这台机器天生不认座次

前面漏了个坑。加权平均这个操作，天然把上下文当成一袋词而不是一串词，把句子里的词打乱重排，算出来的影响力分数原封不动。可「狗咬人」和「人咬狗」显然不是一回事。

所以位置必须显式地喂进去。早期做法是给每个词向量直接加一个「位置向量」，标记它是第几个词。缺点是外推：训练时没见过第 10000 个位置，那个位置的向量就等于没练过，到了长文本上就不灵。

而语言学直觉说，真正要紧的是相对位置，一个动词和它的主语隔了两个词，这件事跟它们出现在第 5、第 3 位还是第 500、第 498 位没关系。现在主流的 RoPE（旋转位置编码）就照这个思路做：不加向量，改成按位置把向量旋转一个角度，点积时两个角度自动相减，结果只依赖两个词的距离差。另一条路 ALiBi 更省事：距离越远，影响力分数直接线性扣分，词向量本身一个字不改。

训练就一件事：猜错就调，直到越猜越准

结构齐了，几百亿个数字怎么定？先看出口：最后一层给出的表示，跟词表里每个词的输出向量做一次点积得分，再过一遍前面那个 softmax，就是下一个词的概率分布。作者顺手点破：这一步就是一个以最终表示为特征、有 5 万个类别的多项逻辑回归。

训练目标是最大似然，统计学里的标准配方：调参数，让模型给训练语料中真实出现过的那些句子打的概率尽可能大。取个对数把连乘变成连加，就等价于最小化交叉熵。

怎么压？梯度下降。整个模型从词向量一路到输出概率，是一串可导函数的复合，微积分的链式法则能算出目标对任何一个参数的导数，剩下的交给软件自动完成。实际训练用的是随机梯度下降：每次只抽一小批数据来估这个导数，估得有噪声但没有偏，照样收敛。

作者提醒别把训练想象成「一锅炖」，那是一种误解。真实的前沿模型训练分成好几个阶段，每个阶段都是精心设计过的：

他给的类比是人的教育：小孩分阶段上学，先打基础再上难度，没有谁被一次性泡进全部知识里。大模型的训练最后也走到了同一个思路上。

练出来的这个东西，读过的文字比任何人一辈子能读完的都多；考虑到有多少文字写出来之后就再没人看过，它读过的可能比全人类累计读过的还多。

模型学会了很多，但有四件事天生做不到

解剖训练好的模型，能看到没人写进去的结构自己长了出来：有的关系组盯着句法，有的追着代词找它指的人；浅层的那些层多半在处理局部语法和词类，深层的转向语义、篇章结构，以及跨越大段文字的关系。规模够大之后，能力还会发生质变，从 GPT-3 的 1750 亿参数那一代起，连贯写作、看起来像在推理的问答、事实知识、翻译摘要写代码，都是这么冒出来的。

作者把这件事归进「涌现」这个大家族：热力学从统计力学里涌现，流体力学从分子相互作用里涌现，鸟群那些复杂的舞姿来自每只鸟遵守的几条简单规则。宏观现象从微观机制里长出来，而且盯着底层规则看是看不出来的。「预测下一个词」这么一个简单目标，规模拉满之后长出了没人明确写进去的能力，为什么会这样，仍是一个开放的科学问题。

另一半必须同时说：有四件事是这套机制天生做不到的。

作者给出的应对方向是把大模型当调度员用：让它把人的意图翻译成一个界定清楚的问题，转交给专门的求解器（定理证明器、符号数学系统、数据库），再把结果翻译回人话。这类混合架构正在冒头，但成熟度还赶不上单体路线。

最后带走：一张黑话翻译表，和这 20 页论文

把全篇的翻译工作收成一张表。左边是你在别处会读到的词，右边是它在数学上的本名，最后一列是那个词坏在哪。

全文的结论压成几句：大模型是一个「给定上下文、下一个词是什么」的条件概率分布；核心机制是学出来的加权平均；影响力用投影之后的点积来量；堆很多层、每层放很多组并行关系，就能学出多个层次的复杂关系。用到的数学不出三样，线性代数（矩阵乘法、点积）、概率（条件分布、指数归一化）、优化（梯度下降）。真正了不起的地方在于组合与规模：这些平常的零件被这样搭起来、放大到这个量级之后，长出了看起来像在形成概念、识别复杂关系的能力。

大模型只干一件事：猜下一个词该是谁

给一段文字，模型要算的是下一个词的概率：「The cat sat on the___」，mat 概率高，democracy 概率几乎是零。用概率的链式法则，这本身是概率论里的恒等式，一整段话的概率能拆成一串条件概率连乘，模型的全部任务就是把它算出来。难点是组合太多：词表 5 万个 token，10 个词的上下文就有 5 万的 10 次方种组合，比可观测宇宙的原子还多，查表不可能，只能学一个能举一反三的函数。

被吹得最神的 attention，其实是个加权平均分

词得先变成数学能处理的点，丢进一个高维空间，意思相近的词离得近，坐标是训练学出来的；可一个词常有好几个意思，bank 在「存钱」和「河边」里是两码事，一个固定的点装不下，真正要算的是会随上下文挪位置的点。这是全篇最重的一次去魅：负责挪位置的这套机制叫 attention，数学上就是加权平均，跟算总评成绩一样，平时分占三成、期末占七成，把几个数按不同分量合成一个，权重这里是从数据里学出来的。

怎么拼成一整套：并行几十路，再摞几十层

一套矩阵只学得出一种关系模式，但词与词的关系不止一种，句法、语义、指代、邻近都不一样，所以并行放 H 套矩阵，各学各的。这套东西行话叫「注意力头」，而这个词是全篇被批得最重的一个：它暗示每一套都有设计好的分工，实际上 H 套全部随机起步、被同一个目标训练，分工是自己长出来的。一轮加权平均只够看到附近的词，长距离的依赖得靠往上摞很多层。

模型学会了很多，但有四件事天生做不到

训练完的模型里，确实能看到没人写进去的结构自己长出来，有的关系组追句法，有的追指代；规模够大后能力还会发生质变，从连贯写作到翻译摘要写代码都是这么冒出来的，为什么会这样，仍是个没解开的科学问题。但这套机制画着四条死线，是论文原文列的。