蒸馏变成了一道可计算的预算题

先看证据规模：这项 Apple 与牛津大学团队发表于 ICML 2025 的研究，实验覆盖约 1.43 亿至 126 亿参数、最高 5120 亿训练 token，并用 73 个监督训练样本和 697 个蒸馏样本拟合公式。

监督训练让学生根据真实的下一个 token 更新参数。蒸馏则让学生模仿教师对整个词表给出的概率分布。真实答案只告诉学生“哪个 token 对”，教师分布还会告诉它“其他候选分别有多像”。这部分额外信息通常被称为软标签。

过去的蒸馏实验往往只固定一位教师，再比较几种学生。这样能回答“这位教师能不能帮到学生”，却回答不了“教师该训练到多强”“学生应该多大”“同一笔算力是否应该直接给学生”。这篇论文同时改变教师规模、教师训练 token、学生规模和学生训练 token，才把四个变量放进一张地图。

这项研究发现，在它的实验范围内，教师规模和教师训练 token 对学生的影响，可以压缩成一个变量：教师自身的交叉熵损失。交叉熵可以先理解为“模型给正确下一个 token 留了多少概率”；越低通常越好。于是，预测学生损失只剩三项核心输入：教师损失、学生参数量、学生看过的 token 数。

这一步很重要。工程团队不必为每一种教师架构单独发明经验规则；只要教师处在论文覆盖的同分布 Transformer 设定内，它的规模和训练量可以先统一折算成质量。不过，“只看教师损失”是这组实验得到的经验简化，不是对所有架构、数据和蒸馏方法的普遍证明。

研究地图最后指向三个可检验结论：学生损失由教师损失、学生容量与学生 token 共同决定；固定学生会出现教师过强反而更差的容量鸿沟；蒸馏相对监督训练的优势受学生数据阈值和教师能否复用共同约束。后两点分别由固定学生的 U 形曲线和四种成本账本验证。

学生的最终损失由教师质量、学生容量和训练数据共同决定

公式先拟合“模型越大、数据越多，损失越低”的监督训练基线，再加入教师质量和容量转折项。不必记住全部系数，只要看懂三个方向：

1. 学生更大，能表达的模式更多，损失通常下降。
2. 学生看更多 token，能更充分地拟合教师，损失通常下降。
3. 教师从弱变强时，学生先受益；继续变强超过匹配点后，学生可能变差。

这些方向背后有三层实验识别。第一层是监督基线：作者同时使用“固定模型、改变数据量”和 IsoFLOP；IsoFLOP 指在相同 FLOPs 下联合改变模型大小和 token 数。只看每个预算下的最优模型会让 token／参数比例近似固定，无法把模型规模项与数据项分开。

第二层是训练目标。监督训练使用 one-hot 标签，也就是正确 token 的位置为 1、其余位置为 0；蒸馏用 softmax 把教师原始分数变成总和为 1 的整个词表概率，再让学生学习这份分布。对固定教师而言，这项交叉熵等价于前向 KL，也就是从教师到学生衡量两份完整概率分布的差异，因为只依赖教师的熵是常数。

第三层是蒸馏实验：固定教师、让学生沿多条 IsoFLOP 曲线变化，用来识别学生规模与数据项；固定学生、让教师沿多条 IsoFLOP 曲线变化，用来检验教师规模和教师 token 是否能被教师损失概括；再把固定 token／参数比的教师与学生广泛配对，显露完整容量鸿沟。这三套协议共同支撑公式，而不是一张曲线承担全部证明。

论文图 5。上半部分比较预测值与实测值，下半部分显示相对误差；作者报告主拟合的相对预测误差约在 1% 内。

这条定律没有从第一性原理推导；它是在给定实验域内拟合得很准的经验函数。它的价值是把“教师、学生、数据”之间原本只能靠试错摸索的关系，变成可以拟合、比较和做预算优化的对象，并非给所有模型一套永久系数。

教师继续变强，学生反而可能变差

容量鸿沟推翻了“教师越强越好”：固定学生大小和训练数据后，教师损失从高到低，学生损失先下降、再回升，形成一条 U 形曲线。教师太弱，学生学不到足够信息；教师太强，学生也可能学不好。

上面的交互直接使用论文表 6 的拟合系数，固定一个约 1.98 亿参数、训练 token 约为参数量 20 倍的学生。拨动教师损失时，学生预测损失在教师损失约 1.9 nats 附近最低；nats 是用自然对数计量交叉熵的单位。教师继续变强、损失降到 1.6 时，学生预测损失反而从约 2.53 升到 2.61。这个数值只属于论文拟合范围中的示例，不能当成其他模型的通用阈值。

作者给出的理论解释是“可表达模式错位”。教师容量更大时，会继续学习学生根本表示不了的复杂模式。为了拟合这些模式，教师可能重新分配概率质量，减少对学生原本能学会的模式的强调。学生面对的是教师的完整分布，只能用有限容量做近似，于是教师更接近真实分布，不等于它更容易被这个学生模仿。

论文用两种简化模型检查这条机制。核回归给出一个可解析的例子：教师把更多表示能力用到学生假设空间之外的基函数后，学生误差会被证明性地推高。合成多层感知机实验又复现了同一 U 形现象：教师开始掌握学生不可达的基函数时，学生表现出现转折。两者共同支持“学习容量错位”，但仍不是对大型 Transformer 内部机制的因果证明。

校准实验进一步排除了一个过于简单的解释。学习教师完整分布的学生，对真实数据仍大体校准；只学习教师 top-1 的学生则明显过度自信。反过来，用教师 top-1 当评判标准时，top-1 学生更校准，而完整分布学生可能显得欠自信。这说明“匹配老师答案”与“匹配老师不确定性”是两项不同任务。作者还观察到，教师越强时，学生在教师低置信度区域越难复制完整分布，这与容量鸿沟同向，但分箱校准图只能提供线索，不能单独证明因果。

这改变了教师选择规则。目标不该是寻找损失最低的教师，而该是为给定学生和数据预算寻找匹配教师。学生变大或看更多数据后，匹配点会移动；原本过强的教师可能重新变得有用。

教师成本能否摊薄，决定蒸馏是否划算

同一条缩放定律放进不同成本口径，会给出完全不同的路线。论文表 2 和表 5 明确比较四种情况。总成本被拆成三项：学生训练约为学生每 token 前向 FLOPs 的三倍再乘学生 token 数；教师生成 logits 是教师前向 FLOPs 乘学生 token 数；教师预训练则是教师每 token 前向 FLOPs 的三倍再乘教师 token 数。四种口径只是决定后两项是否计入，不是在声称现实教师真的免费。

第一种是教师完全摊薄：教师已经存在，logits 也已免费可用，预算只计算学生更新。这是蒸馏最有利的口径。学生训练数据不多时，教师分布比单个真实 token 提供更多信息，蒸馏可以用较少学生算力达到更低损失。但随着数据持续增加，监督训练会逐渐追上；在足够数据和算力下，监督训练可匹配或超过蒸馏。

第二种是教师已经训练好，但每个学生 token 都要支付一次教师前向推理。蒸馏仍可能有优势，不过教师越大，生成软标签越贵，最优教师不会无限增强。

第三种只计教师预训练、不计教师推理：教师需要新训练，但生成的 logits 被存储下来，能在训练重启后或多个学生之间反复使用。它把一次性教师成本计入，又把逐 token 推理成本摊薄，适合缓存软标签或批量训练多个学生的场景。

第四种最接近“为了一个学生专门训练一位教师”：教师预训练、教师对学生数据的前向推理、学生训练三笔成本全部计入。论文在这一最不利口径下发现，监督训练通常更优。原因不神秘：你先花一大笔算力得到教师，再让教师读一遍学生数据，最后学生还要完成自己的训练；软标签节省的学生数据效率，常常抵不过前两笔新增成本。

论文图 1。曲面展示教师损失、学生规模与学生损失之间的关系；右侧的固定切片显露出容量鸿沟。

论文还给出一个更细的结论：弱到强蒸馏的收益主要是有限数据现象。学生只看少量数据时，教师分布能提供更密集的学习信号；当蒸馏数据趋于充分，学生会逼近教师，而不是无条件超过教师。所谓“弱教师带出强学生”，不能脱离数据量和评测口径单独成立。

这也澄清了论文与“耐心教师”研究的表面冲突。这里的 patient 指让学生在更多蒸馏 token、也就是更长学生训练时间上持续学习，并不是继续预训练同一个教师。论文同样观察到学生蒸馏更久会改善，但在 C4 同分布且监督训练使用真实 token 的比较中，继续蒸馏最终可能变得算力次优；早期研究采用的数据分布和监督基线不同。附录 E.6 给出的严格边界是：为每个学生规模选择最优教师时，无限蒸馏数据下学生交叉熵的下界与监督训练下界一致。

固定 token 与固定算力轮廓还揭示，优势区不是一条静态边界：学生越大、预算越高，能吸收的匹配教师通常越强；固定学生继续增加数据时，蒸馏相对监督的优势会缩小。作者用 SLSQP，一种在总算力约束下搜索最低损失组合的数值优化方法，在四种成本开关下分别求最优教师、教师训练量和学生 token，而不是拿一位教师贯穿所有预算。

附录的下游评测给这个预算结论加了一层现实检查：若任务得分随交叉熵改善，四种账本仍有参考价值；若模型在任务上接近随机，算出的交叉熵最优点并不能替代能力验证。论文也明确列出双面影响：更可靠的缩放规律能减少试错并降低小模型生命周期推理成本，但教师的预训练偏差可能传给学生，更强、更便宜的小模型也会降低滥用门槛。这些是部署风险，不改变定律本身，却会改变“值得不值得做”的产品答案。

因此，判断蒸馏是否划算，先问三个问题：教师是否已经存在？它会服务多少个学生或多少轮训练？当前学生是否仍在数据不足的区域？教师能复用到多个学生、多个尺寸或多个部署目标时，预训练成本被摊薄，蒸馏的经济性会显著改善。只服务一个学生时，不要用“学生训练更快”掩盖教师成本。

论文给出的训练配方：温度 1 与 Top-k 128

如果你的任务确实接近论文设定，也就是同一文本分布、token 级、学生模仿教师完整概率，附录给出了一组可以作为首轮实验起点的配方。

公式系数不是从几条曲线目测出来的。作者对 73 个监督样本和 697 个蒸馏样本在对数空间使用 Huber 损失拟合，Huber 目标会降低少数大残差点对结果的支配；再从多组初值搜索参数，以减少局部解风险。这个口径与图 5 的约 1% 相对误差一起，构成配方数字的统计底座。

软标签权重方面，纯蒸馏，也就是只学习教师分布，在大多数实验中表现稳健；把真实 token 损失混进来后，只要蒸馏权重高于 0.5，结果整体较平。温度控制教师概率分布的平滑程度，温度越高，低概率候选会获得更多权重；作者测试后发现温度 1 最好。优化方面，µP 是一种让学习率等超参数更容易跨模型规模迁移的参数化方法，论文在简化 µP 下使用的学习率 0.01 可以跨测试规模迁移。

存储是全分布蒸馏最现实的障碍。教师先为词表中每个 token 输出一个原始分数，这组分数叫 logits，再由它们换算成概率。论文估算，如果为 C4 的约 2 万亿 token 保存 float32 全词表 logits，体量约 260 PB。作者测试只保留教师概率最高的 Top-k token，并配合一部分真实标签损失；Top-k 128、蒸馏权重 0.7 时，学生损失距离完整分布蒸馏不到 0.01 nats。这个结果说明可以大幅削减缓存，但 128 不是跨词表、跨任务的神奇常数，仍需在自己的分布上复测。

作者还比较了两种分布差异的计算方向。前向 KL 从教师分布衡量到学生分布的差异，反向 KL 把两者次序对调；在论文实验中，前向 KL 得到 2.42 的损失，反向 KL 为 2.70，前向 KL 更好。所有这些数字都来自论文的固定训练栈，适合做起点，不适合当默认标准。

算力估算也不能机械套用常见的每 token 前向约 2N、训练约 6ND。论文关注小模型与 4096 长上下文，此时注意力和词表投影不再可以忽略；对固定宽深比模型，前向 FLOPs 被写成由参数主项 N、上下文相关的 N 的三分之二次方项和词表相关的 N 的三分之一次方项组成。附录逐项核算注意力、MLP、归一化、词表投影和反向传播，并在配置表中比较近似值：例如 1.43 亿非嵌入参数模型若只用 2N，会低估约 36%，加入上下文与词表项后误差约 0.34%。所以在小模型、长上下文预算中，FLOPs 口径本身就可能改变最优路线。

这条定律不能直接套到推理轨迹和跨分布蒸馏

这篇论文研究的是 C4 English 上的 Transformer，教师与学生来自同一数据分布，序列长度 4096，蒸馏目标是教师对每个 token 的完整概率分布。它没有覆盖把教师生成的整段答案当训练数据、只保留硬标签、学习思维链、跨语言迁移、跨领域数据或教师与学生使用不同分词器的情况。

实验架构也高度统一：多头注意力、Pre-Norm 加 RMSNorm、RoPE 位置编码、固定宽深比与固定前馈比例，全部在 AXLearn 中训练；教师和学生使用 C4 English 的不同数据切片。C4 约 1800 亿 token，分给教师与学生的唯一 token 各约 900 亿，超过该规模的训练会重复数据。作者引用的重复数据研究表明，在 C4 的监督训练中，重复到约四次对损失影响很小；论文同时明确承认，无法确认这个结论对蒸馏仍然成立，更不能用它替代跨数据验证。

为了看清这些结论在研究版图中的位置，相关工作和作者贡献可以压缩成三层：

• 问题谱系：经典知识蒸馏、自蒸馏、耐心教师、容量鸿沟、校准和弱到强泛化研究，分别提出学生学什么、学多久、教师会不会太强以及概率是否可信。
• 方法支架：监督缩放定律、C4 与重复数据、SLSQP、Huber、µP、注意力与张量程序、Transformer 训练和 FLOPs 估算，支撑比较基线、稳健拟合、跨规模参数迁移与成本计算；LLaMA、Gemma、迁移学习、下游评测和推理计算只提供实践背景或延伸方向，不是本文已验证对象。
• 证据分工：作者贡献表把训练与 IsoFLOP 设计、公式拟合、核回归与合成 MLP、校准、Top-k 和 KL 分析分给不同成员。公式因此有实验、理论示例和工程验证三类支撑，而不是孤立的曲线拟合。

下游能力边界也必须正视。作者发现部分标准英语任务与交叉熵趋势一致，但其模型在 GSM8K 和 MMLU 上接近随机水平。论文因此没有证明“交叉熵低 0.01，就能让推理能力或知识问答按同样比例提升”。它更没有为今天常说的 DeepSeek-R1 式推理轨迹蒸馏给出现成缩放系数。

论文真正可以迁移的，是三条决策框架：为学生寻找匹配教师，而不是最强教师；把学生训练数据阈值纳入比较，而不是只看单次精度；把教师训练和推理成本完整计入，并明确由多少学生共同摊薄。

具体系数则必须重新拟合。数据分布、模型架构、损失目标、词表、序列长度和训练配方任何一项变化，都可能移动容量鸿沟和算力最优点。把这篇论文当成预算建模方法，会很有用；把表 6 的数字直接套到另一个模型项目，会得到看似精确、实际没有证据支撑的答案。

最终判断可以压缩成一句话：蒸馏的优势来自教师分布提供的额外信息，但这份信息只有在学生吃得下、数据还不充分、教师成本能被摊薄时，才会转化成真正的算力收益。