Gemma 4 技术报告：开源模型怎么用「小参数 + 会思考 + 省内存」硬碰大模型
Gemma 4 的主线只有一句话：用三套工程把「能力」和「成本」同时往有利方向拧。
第一套抬智能：思考模式（先推理再回答）。第二套压成本：本地/全局注意力配比、p-RoPE、KV 共享、K=V、QAT 量化、MTP 投机解码。第三套扩模态：原生图文声，并给 12B 一条「不要独立编码器」的统一架构。下面所有型号、表格、Arena 名次，都是在给这句话提供证据。
思考模式
数学、代码、STEM 大涨的主要发动机；默认评测几乎都开着它。
长上下文 + 量化 + 投机解码
上下文拉长时 KV 别爆；31B 从约 64GB 收到约 19GB；解码还能加速。
原生多模态 + 12B 统一体
多数尺寸用冻结编码器；12B 直接吞图块和音频切片，少两坨大权重。
- 家族：E2B（有效 2.3B）、E4B（有效 4.5B）、12B、26B-A4B MoE（约 4B 激活）、31B 稠密。Apache 2.0。
- Arena Text（2026-06-19）：31B Elo 1451，报告称开源稠密第一；旁边更高名次多为数百 B～T 级 MoE。
- 相对 Gemma 3 27B：STEM/代码断层很大，但表中 4 代默认 thinking、3 代 27B 多处 non-thinking，不能当纯架构胜利解读。
- 端侧叙事：E2B 多项摸近 27B 量级能力（官方口径），音频编码器磁盘 390MB→87MB。
它在回应开源圈的哪道题
2026 年开源榜常被超大 MoE 占据。Gemma 4 选的是另一条：稠密中小尺寸 + 会思考 + 部署友好。
读这份报告，如果只记「又出了 31B」，会漏掉它真正想争的位置。当时 Arena 前列的开源模型，大量是 300B、700B、1T、甚至 1.6T 总参的 MoE。Gemma 把故事改成：
所以报告的「核心证据」不是某一个单点 SOTA，而是组合拳：31B 稠密能和更大 MoE 同台（人类偏好）；小模型还能端侧（内存表 + 音频编码器体积）；长上下文不靠蛮力堆 KV（RULER / LOFT）。
先选一个尺寸，看它被设计成谁
点下面五个型号。同一家族，分工差得很远。
E2B：端侧入门，有效约 2.3B
用 per-layer embeddings（和 Gemma 3n 一脉），总参数更大，但「有效」算 2.3B。自带 150M 视觉 + 305M 音频编码器。报告拿它和 Gemma 3 27B 比，主张「参数少约一个数量级，多项接近」。
E4B：端侧主力，有效约 4.5B
同样走小编码器 + 激进量化。视觉评测上，报告写它在所列项目上全面不低于 Gemma 3 27B（如 MMMU Pro 52.6 vs 49.7，MATH-Vision 59.5 vs 46.0）。长上下文多项也已压过 27B。
12B：报告里的架构实验品（也是正式型号）
这是全文最「研究味」的一点：从零训一个无独立视觉/音频编码器的统一模型。图像 48×48×3 patch 一次大矩阵乘（约 35M 参数）+ 2D 坐标位置；音频 40ms/640 维直接投影。目的不是炫技，是减少编码器带来的内存碎片和流水线复杂度。
26B-A4B：稀疏路线，激活大约 4B
总参 26B 级 MoE，激活约 3.8–4B。Arena Elo 1438，静态上多数项贴着 31B，但代理/终端类任务（Terminal Bench、部分 Tau2）掉得更明显。适合想要「激活小、容量大」的部署，而不是纯稠密推理栈。
31B：稠密旗舰，报告的「对外战报」主位
Arena 开源稠密第一的位置给它；AIME 89.2、LiveCodeBench 80、GPQA 84.3、Codeforces Elo 2150。效率侧仍给 QAT 和 MTP。它不是「又一个 30B」，而是 Gemma 用来证明稠密中型模型在 2026 年仍能硬碰超大开源 MoE 的样品。
核心机制一：思考模式为什么改写分数
没有这一节，后面所有「吊打 Gemma 3 27B」的表都会被误读。
Gemma 4 指令模型可以在最终答案前，先在专用通道里写一段推理轨迹。系统轮放上 <|think|> 就打开。格式上，预训练结束符是 <eos>，指令模型是 <turn|>；思考内容走 <|channel>thought ...<channel|>。
一次完整调用的形状
系统轮打开思考 + 可选工具声明
例如声明 search_train 这类函数，模型才知道能调什么。
用户提问
普通自然语言，和别的指令模型一样。
模型先写 thought 通道
内部推理、拆题、检查约束；用户最终看到的答案在 thought 之后。
需要时发出 tool_call，再继续
附录订票示例：先追问目的地，再调用查票函数。
同一套权重，思考把「可挖潜力」换成可见分数
报告没有给出「关思考 vs 开思考」的完整消融表，但从任务类型能看出：越需要多步推理，4 代相对 3 代 27B 的落差越大。
IFEval 这种「听不听指令」差距相对温和；AIME/代码这种「要想很多步」差距夸张。说明思考模式很可能是分数发动机，而不只是锦上添花。
读 Table 5 时必须叠的滤镜
另外 Arena 是人类盲选偏好，静态题库是可复现分数，两套榜不能换算。厂商自报之外，第三方复现会随时间移动。
核心机制二：长上下文为什么能「变便宜」
点四步，看全局 KV 是怎么被削掉最多 37.5% 的。
上下文一长，推理时的 KV 缓存按序列长度线性涨，很快变成显存账单本身。Gemma 4 没有发明「无限上下文魔法」，而是把注意力拆成「多数层只看近处 + 少数层看全局」，再在全局层上抠缓存。
全全局注意力：每个 token 都要跟所有历史说话
序列越长，每层都要存完整 K/V。32k、128k、256k 往上走时，内存曲线陡得吓人。端侧和单卡部署最先死在这里，而不是死在「参数文件多大」。
像开会时每个人每句话都要广播给全场所有人，还要全程录音存档。人一多，录音硬盘先炸。
本地滑动窗口 : 全局 = 5:1（E2B 为 4:1）
沿用 Gemma 3 系思路：大部分层只做局部注意力（看最近窗口），每隔若干层插一层真正的全局注意力。计算和缓存的大头被按比例稀释。
位置编码也拆开：全局层用 p-RoPE（p=0.25），本地层用普通 RoPE；频率分别取 1M 与 10k。含义是：全局层要扛更长距离的位置关系，本地层管短程结构。
三刀砍在全局 KV 上
K = V（全局层）
除 E2B/E4B 外，全局层 values 直接复用 keys，少存一整份 V。
KV 共享
E2B 20/35、E4B 18/42 等比例共享缓存，层与层不各自独占全套。
p-RoPE
配合全局层位置方案，进一步压全局缓存形态；报告汇总为全局 KV 最多 −37.5%。
再叠加 QAT
权重本身变小：31B 64→19.2GB；端侧 E2B 收到约 0.8GB。上下文账单和权重账单一起砍。
省了缓存，长上下文分数有没有塌？
| 项目 | 上下文 | 31B | E4B | G3 27B |
|---|---|---|---|---|
| RULER 准确率 | 128k | 96.4 | 86.6 | 66.0 |
| LOFT 文本检索 | 128k | 79.5 | 58.5 | 8.6 |
| GraphWalks F1 | <128k | 82.3 | 50.9 | 32.8 |
| MRCR 8-needle | 128k | 66.4 | 25.4 | 13.5 |
表 9 等为无 thinking。报告判断：长上下文相对 3 代是一跳；E4B 已能在多项压过 27B。31B 还报了约 256k 全书 MTOB。
核心机制三：多模态两条路，为什么 12B 单独开一章
点切换：多数型号的「编码器路线」vs 12B 的「无编码器路线」。
翻译官 + 主脑
E2B/E4B 用 150M ViT + 305M USM 系音频；更大稠密/MoE 用 550M 视觉编码器。预训时编码器冻结，主模型学怎么读它们吐出的连续表征。
可变宽高比 → patch 16 → soft token
N_max 可到 70 / 140 / 280 / 560 / 1120。高分辨率更吃序列长度，低分辨率附录表 12 分数会掉。
40ms Mel → Conformer → 连续向量
相对 Gemma 3n：680M→305M 参数，量化后磁盘 390→87MB，转写/翻译还报了约 10–17% 相对提升。
这条路工程成熟：编码器可单独量化、单独优化，主模型专注语言。代价是内存碎片和「三套权重」的部署复杂度。
主脑直接看原材料
12B 从零训练：图像块一次 matmul（约 35M）+ 2D 坐标位置编码；音频 16kHz 切 40ms 得 640 维，直接投影进 LLM 嵌入。没有独立 ViT/USM。
如果语言模型足够大、预训练配方合适，「轻投影 + 大数据」可以替代「重编码器」。报告用 Table 8 的 ASR/翻译数字证明：至少在支持语种上，这条路不是玩具。
这就是为什么 12B 在参数表里音频/视觉编码器两列是空的，却仍出现在多模态评测里。它是产品线里的架构探针，也是给社区的可复现实验点。
还没讲完的效率：草稿头和量化
长上下文解决的是「存」，解码速度还要「快」。Gemma 4 自带自回归 MTP 草稿头：吃主模型最后一层激活和 KV，4 层小 Transformer 交叉注意主模型缓存，顺序起草未来 token，给投机解码用。因为交叉注意的是主模型已有 KV，所以不需要单独 MTP prefill，草稿长度也可变。
端侧草稿头还把「投到 26.2 万词表」收成「先在簇上 top-k 再投」，最终矩阵从 d×262000 收到 d×4096，接受率号称接近。QAT 则在训练里就按 int2/int4+int8 或 Q4_0 约束权重，避免「训完再压」的大掉点。
证据层：人类偏好 vs 静态题库
两套证据回答两个不同问题。点切换。
人到底更喜欢谁（2026-06-19 快照）
横轴是「体量直觉」示意，不是严格对数坐标。要点：31B 稠密挤进了超大 MoE 的 Elo 带，同时远高于自家上一代 27B。
| 排名 | 模型 | Elo | 类型 |
|---|---|---|---|
| 1 | Claude Fable 5 | 1508 | 闭源刻度 |
| 36 | DeepSeek V4 Pro Thinking | 1458 | MoE 1.6T/49B |
| 43 | Gemma 4 31B | 1451 | 稠密 31B |
| 61 | Gemma 4 26B-A4B | 1438 | MoE 26B/4B |
| 157 | Gemma 3 27B | 1366 | 稠密 27B |
题库上它强在哪、弱在哪
知识与难题集上，31B/26B 明显拉开 E2B/E4B。E2B 的 GPQA 43.4 已贴 G3 27B 的 42.4，符合「小模型摸大模型」叙事的那一档。
代码是 4 代相对 3 代视觉冲击最大的板块之一。结合思考模式，更像「推理预算换正确率」，而不是单纯堆代码语料。
| 任务 | 31B | 26B-A4B | E2B | G3 27B |
|---|---|---|---|---|
| Terminal Bench Hard | 36.0 | 14.0 | 3.0 | 4.0 |
| Tau2 retail | 86.4 | 85.5 | 34.6 | 6.6 |
| Tau2 telecom | 69.3 | 43.0 | 19.7 | 3.1 |
代理/工具类上，31B 与 26B 分化：零售场景两者接近，电信与终端任务 31B 明显更稳。说明「Arena 接近」不等于「所有 agent 任务可互换」。
Arena 证明：稠密 31B 能挤进超大开源 MoE 的人类偏好带。
静态题库证明：思考 + 新后训练把 STEM/代码上限抬到另一档。
长上下文与量化表证明：这不是「实验室只报分不管部署」的模型卡，效率栈是一等公民。
训练与安全：报告写了什么、故意没写什么
预训练数据截止 2025-01，含网页、代码、图像，E2B/E4B/12B 含音频。过滤去污染、不安全、背诵风险。后训练沿 Gemma 3 框架，加思考；数据侧去 PII/有毒/错误自我身份/重复，并加归因、犹豫、拒答子集。
安全写的是与 Gemini 同级流程、对照 Frontier Safety Framework、无过滤条件下测固有行为、相对前代各安全类改善且无理拒答低。报告没有放出完整安全分项表，也没有训练 token 总量、详细数据配比、思考模式的系统消融。读它要当「架构与结果白皮书」，不是「可完全复现的配方书」。
TPU v5p/v6e，数据/序列/副本三维切分；ZeRO-3；Pathways 多舱；Slice-Granularity Elasticity 把故障恢复从「很多分钟」收到「几秒」。这些不改变模型定义，但解释了为何能在全家桶尺寸上同时推进编码器与无编码器两条线。
读完这页，你应该带走的判断框架
优先看 E2B/E4B：有效小参数 + QAT + 更小音频编码器 + 4:1/5:1 注意力。别只看「总参数」营销名。
31B 是主证据。Arena 与 STEM/代码同时在线；再核对你自己的量化后端是否接得住 Q4_0 与 MTP 草稿头。
12B 无编码器是真正值得抠的一章：它在问「重编码器是否还是必选项」。
先对齐：是否 thinking、是否同日 Arena、稠密还是 MoE、上下文长度与 KV 实现。不对齐口径的表，差 20 分也可能没意义。
完整关键表数字速查（可展开）
Table 5 节选（thinking） 31B：MMLU Pro 85.2 / AIME 89.2 / LCB 80 / CF 2150 / GPQA 84.3 / IFEval 98.9 / MRCR 66.4 / Terminal 36 / Tau2 retail 86.4
视觉 Table 6（高分辨率） 31B：MMMU Pro 76.9 / MATH-Vision 85.6 / InfographicVQA 92.0 / OmniDocBench 0.131↓
内存 Table 3 E2B 4.6→0.8；E4B 9.0→2.3；12B 24→7.65；26B-A4B 52/7.6→16.2/2.8；31B 64→19.2（GB，32k 文本）
词表 262k；与 Gemini Team 2025 tokenizer 同系。
来源：Gemma Team, Google DeepMind.《Gemma 4 Technical Report》. arXiv:2607.02770v1。本页为机制向解读，交互为纯 CSS。关键数字以 PDF 原文为准。上一版偏清单与表格，本版按「核心一句话 + 三机制深挖 + 证据两分」重写。
Gemma 4：开源模型从「堆参数拼大」→「小身板靠会思考、省内存挤进第一梯队」
谷歌 DeepMind 发布 Gemma 4 技术报告：不靠万亿参数的巨无霸，用会思考、省内存、原生看图听声三招，让一张显卡能跑的小模型硬碰大模型，一页带图讲完。
↓ 一页读完 · 有一张会动的图
Gemma 4 是谷歌免费公开、谁都能下载到自己电脑上跑的一套 AI 模型，这叫「开源模型」，区别于只能联网用、看不到内部的那类。开源圈这两年卡在一个死结上：
✘ 跑不起：越聪明的开源模型通常越大，动辄要一柜子服务器或好几张顶级显卡
「参数」是模型的脑容量，越大越聪明也越占地方；地方指「显存」（显卡里的内存），模型得整个塞进去才能跑。几千亿到上万亿参数的巨无霸要几百 GB 显存，普通人一张显卡（十几到二十几 GB）根本装不下。
报告要证明的就一句话：不必堆成巨无霸，三套工程手段同时发力，小模型也能又聪明又跑得起。
- 会思考：答题前先在草稿区一步步推演再作答，数学、编程分数暴涨主要靠它。
- 省内存：把模型压缩、改了记忆方式，同一个旗舰从要 64GB 显存压到约 19GB；最小的号甚至能塞进手机。
- 原生看图听声：不外挂零件，模型本身就能读图片、听音频。
三招里，「会思考」是分数暴涨的主发动机，也是最容易被误读的一招，先用一张图看懂它。
「思考模式」就是让模型在给出答案前，先在一块专门的「草稿区」里一步步推演。同一道难题，打不打草稿，结果差很远：
聪明还得跑得起。省内存这招的效果，看同一个 310 亿参数的旗舰模型、压缩前后各要多少显存最直观：
64 GB 得靠企业级显卡或多张卡拼出一台机房级机器；19.2 GB 一张高端游戏显卡（约 24GB）就装得下。换算依据：同一个 31B 模型未压缩要 64GB，量化压缩后 19.2GB，约缩到三分之一。以上数字全部来自厂商（谷歌 DeepMind）自测，暂无第三方复现。
下载到自己
电脑上跑
得一柜子服务器才跑得动。
→ 更跑不动
→ 照样跑得起
硬碰上千亿的大块头
直接答 20.8 分 → 会思考 89.2 分
一张显卡就装得下。
- × 数字全是厂商自测
- × 暂无第三方复现
- × 「吊打上代」掺了开思考的水分
一张显卡能跑的小模型，也挤进了第一梯队。