Gemma 4 テクニカルレポート：オープンモデルが「小パラメータ＋思考できる＋省メモリ」で大型モデルに真っ向勝負
Gemma 4 の本筋は一言だけ——三つのエンジニアリングで「能力」と「コスト」を同時に有利な方向へねじり込む。
一つ目は知能を上げる：思考モード（先に推論してから答える）。二つ目はコストを下げる：ローカル／グローバルアテンションの配分、p-RoPE、KV 共有、K=V、QAT 量子化、MTP 投機的デコード。三つ目はモダリティを広げる：ネイティブに画像・文・音声を扱い、12B には「独立エンコーダを持たない」統合アーキテクチャを与えた。以下のモデル、表、Arena の順位はすべて、この一言に証拠を与えている。
思考モード
数学・コード・STEM が大きく伸びる主エンジン。標準評価はほぼ常にこれをオンにしている。
長コンテキスト＋量子化＋投機的デコード
コンテキストを伸ばしても KV を破綻させない。31B を約 64GB から約 19GB へ。デコードも加速。
ネイティブマルチモーダル＋12B 統合体
多くのサイズは凍結エンコーダを使う。12B は画像パッチと音声スライスを直接飲み込み、大きな重みを二塊減らす。
- ファミリー：E2B（実効 2.3B）、E4B（実効 4.5B）、12B、26B-A4B MoE（約 4B 活性）、31B デンス。Apache 2.0。
- Arena Text（2026-06-19）：31B は Elo 1451、レポートはオープンなデンスで首位と主張。上位のより高い順位は数百 B〜T 級 MoE が多い。
- Gemma 3 27B 比：STEM／コードの差は歴然。ただし表では 4 代がデフォルト thinking、3 代 27B は多くが non-thinking で、純粋なアーキテクチャ勝利とは読めない。
- オンデバイスの物語：E2B は複数項目で 27B 級の能力に迫る（公式値）。音声エンコーダのディスクは 390MB→87MB。
それはオープン界のどの問いに答えているか
2026 年のオープンランキングは超大型 MoE に占められがち。Gemma 4 が選んだのは別の道——デンスな中小サイズ＋思考できる＋デプロイしやすい。
このレポートを読むとき、「また 31B が出た」としか覚えないと、本当に争っている位置を見落とす。当時 Arena 上位のオープンモデルは、その多くが 300B、700B、1T、さらには 1.6T 総パラメータの MoE だった。Gemma はこの物語をこう書き換える——
だからレポートの「核心的な証拠」は、どこか一点の単独 SOTA ではなく、コンビネーションだ——31B デンスがより大きな MoE と同じ土俵に立つ（人間の好み）。小型モデルでもオンデバイスに載る（メモリ表＋音声エンコーダのサイズ）。長コンテキストを力任せの KV 積み上げに頼らない（RULER／LOFT）。
まずサイズを一つ選び、それが誰として設計されたか見る
下の五つのモデルを押してみて。同じファミリーでも役割はまるで違う。
E2B：オンデバイス入門、実効 約 2.3B
per-layer embeddings（Gemma 3n と同系）を使い、総パラメータは大きいが「実効」で 2.3B と数える。150M 視覚＋305M 音声エンコーダを内蔵。レポートはこれを Gemma 3 27B と比べ、「パラメータは約一桁少ないのに複数項目で肉薄」と主張する。
E4B：オンデバイス主力、実効 約 4.5B
同じく小エンコーダ＋積極的な量子化。視覚評価では、列挙項目すべてで Gemma 3 27B を下回らないと記す（例：MMMU Pro 52.6 vs 49.7、MATH-Vision 59.5 vs 46.0）。長コンテキストでも複数項目で既に 27B を上回る。
12B：レポートのアーキ実験品（正式なモデルでもある）
全文で最も「研究味」が強い一点——独立した視覚／音声エンコーダを持たない統合モデルをゼロから訓練した。画像は 48×48×3 パッチを一度の大行列積（約 35M パラメータ）＋2D 座標位置で。音声は 40ms／640 次元を直接投影。狙いは技術誇示ではなく、エンコーダが持ち込むメモリの断片化とパイプラインの複雑さを減らすこと。
26B-A4B：スパース路線、活性 およそ 4B
総パラメータ 26B 級の MoE、活性 約 3.8–4B。Arena Elo 1438、静的評価では多くの項目で 31B に張り付くが、エージェント／ターミナル系タスク（Terminal Bench、一部 Tau2）は落ちがより顕著。純デンスの推論スタックではなく「活性小・容量大」を狙うデプロイ向き。
31B：デンス旗艦、レポートの「対外戦果」主役
Arena オープンなデンス首位の座はこれに。AIME 89.2、LiveCodeBench 80、GPQA 84.3、Codeforces Elo 2150。効率側でも QAT と MTP を用意。これは「また一つの 30B」ではなく、デンスな中型モデルが 2026 年でも超大型のオープン MoE と真っ向勝負できると Gemma が証明するためのサンプルだ。
核心メカニズム一：思考モードはなぜ点数を書き換えるか
この節がないと、以降の「Gemma 3 27B を圧倒」の表はすべて誤読される。
Gemma 4 の指示モデルは、最終回答の前に専用チャンネルで推論の跡を書ける。システムターンに <|think|> を置けばオンになる。書式では、事前学習の終端は <eos>、指示モデルは <turn|>；思考内容は <|channel>thought ...<channel|> を通る。
一回の完全な呼び出しの形
システムターンで思考をオン＋任意のツール宣言
例えば search_train のような関数を宣言して初めて、モデルは何を呼べるか分かる。
ユーザーの質問
普通の自然言語で、他の指示モデルと同じ。
モデルはまず thought チャンネルを書く
内部で推論・分解・制約チェック。ユーザーが最後に見る答えは thought の後にある。
必要なら tool_call を発行し、続ける
付録の予約例：まず目的地を聞き返し、次に空席照会関数を呼ぶ。
同じ重みで、思考が「潜在力」を可視の点数へ換える
レポートは「思考オフ vs オン」の完全なアブレーション表は出していない。だがタスク種別から見えてくる——多段の推論が要るほど、4 代と 3 代 27B の差は大きくなる。
IFEval のような「指示を聞くか」の差は比較的穏やか。AIME／コードのような「何段も考える」項目では差が極端だ。思考モードは飾りではなく、点数のエンジンである可能性が高い。
Table 5 を読むとき必ず重ねるフィルター
また Arena は人間のブラインド選好、静的な問題集は再現可能なスコアで、二つのランキングは換算できない。ベンダの自己申告に加え、第三者の再現は時とともに動く。
核心メカニズム二：長コンテキストはなぜ「安くなる」か
四ステップを押して、グローバル KV が最大 37.5% どう削られるか見る。
コンテキストが長くなると、推論時の KV キャッシュは系列長に比例して増え、たちまち VRAM 請求書そのものになる。Gemma 4 は「無限コンテキストの魔法」を発明したのではなく、アテンションを「多くの層は近くだけ見る＋少数の層が全体を見る」に分け、グローバル層でキャッシュをさらに削った。
全層グローバルアテンション：どの token も全履歴と話す
系列が長いほど、各層で完全な K/V を保持する必要がある。32k、128k、256k と上がるにつれ、メモリ曲線は怖いほど急になる。オンデバイスや単一カードのデプロイは、まずここで死ぬ——「パラメータファイルがどれだけ大きいか」で死ぬのではない。
会議で全員が一言ごとに会場全体へ放送し、しかも全編録音・保存するようなもの。人が増えると、まず録音ディスクが破裂する。
ローカルスライディング窓 : グローバル ＝ 5:1（E2B は 4:1）
Gemma 3 系の発想を踏襲——大半の層はローカルアテンションだけ（直近の窓を見る）にし、何層かごとに本物のグローバルアテンションを一層挟む。計算とキャッシュの大部分が比率で希釈される。
位置エンコーディングも分ける：グローバル層は p-RoPE（p=0.25）、ローカル層は通常の RoPE。周波数はそれぞれ 1M と 10k を取る。意味は——グローバル層はより遠い距離の位置関係を担い、ローカル層は短距離の構造を管理する。
三刀をグローバル KV に入れる
K = V（グローバル層）
E2B/E4B を除き、グローバル層の values は keys をそのまま再利用し、V を一式まるごと保存しない。
KV 共有
E2B は 20/35、E4B は 18/42 の比率でキャッシュを共有。層ごとに全セットを独占しない。
p-RoPE
グローバル層の位置方式と組み、グローバルキャッシュの形をさらに圧縮。レポートはグローバル KV 最大 −37.5% とまとめる。
さらに QAT を重ねる
重み自体が小さくなる：31B 64→19.2GB；オンデバイスの E2B は約 0.8GB へ。コンテキストの請求書と重みの請求書を一緒に削る。
キャッシュを節約して、長コンテキストのスコアは崩れたか？
| 項目 | コンテキスト | 31B | E4B | G3 27B |
|---|---|---|---|---|
| RULER 正解率 | 128k | 96.4 | 86.6 | 66.0 |
| LOFT テキスト検索 | 128k | 79.5 | 58.5 | 8.6 |
| GraphWalks F1 | <128k | 82.3 | 50.9 | 32.8 |
| MRCR 8-needle | 128k | 66.4 | 25.4 | 13.5 |
Table 9 などは thinking なし。レポートの判断：長コンテキストは 3 代比で一段の飛躍；E4B は既に複数項目で 27B を上回る。31B は約 256k の全書 MTOB も報告。
核心メカニズム三：マルチモーダルは二路線、なぜ 12B に一章割くか
切り替えを押して：多くのモデルの「エンコーダ路線」vs 12B の「エンコーダなし路線」。
通訳＋主脳
E2B/E4B は 150M ViT＋305M USM 系音声を使い、より大きなデンス／MoE は 550M 視覚エンコーダを使う。事前学習中はエンコーダを凍結し、主モデルがそれらの吐く連続表現をどう読むかを学ぶ。
可変アスペクト比 → patch 16 → soft token
N_max は 70／140／280／560／1120 まで。高解像度は系列長を食い、低解像度だと付録 Table 12 のスコアが落ちる。
40ms Mel → Conformer → 連続ベクトル
Gemma 3n 比：680M→305M パラメータ、量子化後ディスク 390→87MB、書き起こし／翻訳も約 10–17% の相対向上を報告。
この路線はエンジニアリングとして成熟——エンコーダは単独で量子化・最適化でき、主モデルは言語に専念できる。代償はメモリの断片化と「三セットの重み」というデプロイの複雑さ。
主脳が原材料を直接見る
12B はゼロから訓練：画像ブロックを一度の matmul（約 35M）＋2D 座標の位置エンコーディング；音声は 16kHz を 40ms に切って 640 次元を得、直接 LLM の埋め込みへ投影。独立した ViT/USM はない。
言語モデルが十分大きく、事前学習のレシピが適切なら、「軽い投影＋大量データ」が「重いエンコーダ」を代替できる。レポートは Table 8 の ASR／翻訳の数値で、少なくとも対応言語ではこの路線が玩具ではないと示す。
だから 12B はパラメータ表で音声／視覚エンコーダの二列が空なのに、マルチモーダル評価には登場する。製品ラインの中のアーキテクチャの探針であり、コミュニティへの再現可能な実験点でもある。
まだ語り尽くしていない効率：ドラフトヘッドと量子化
長コンテキストが解くのは「保存」、デコード速度はさらに「速さ」が要る。Gemma 4 は自己回帰の MTP ドラフトヘッドを内蔵：主モデルの最終層の活性と KV を食い、4 層の小 Transformer が主モデルのキャッシュにクロスアテンションし、未来の token を順に起草して投機的デコードに使う。クロスアテンションの相手は主モデルの既存 KV なので、独立した MTP prefill が不要で、ドラフト長も可変。
オンデバイスのドラフトヘッドはさらに「26.2 万語彙へ投影」を「まずクラスタで top-k してから投影」に縮め、最終行列を d×262000 から d×4096 へ。受理率はほぼ同等と称する。QAT は訓練の中で重みを int2/int4+int8 または Q4_0 に制約し、「訓練後に圧縮」の大幅な劣化を避ける。
証拠の層：人間の好み vs 静的な問題集
二種類の証拠が二つの別々の問いに答える。切り替えを押して。
人はいったい誰を好むか（2026-06-19 スナップショット）
横軸は「規模の直感」の概念図で、厳密な対数座標ではない。要点：31B デンスが超大型 MoE の Elo 帯に割り込み、同時に自社前世代の 27B をはるかに上回る。
| 順位 | モデル | Elo | タイプ |
|---|---|---|---|
| 1 | Claude Fable 5 | 1508 | クローズド基準 |
| 36 | DeepSeek V4 Pro Thinking | 1458 | MoE 1.6T/49B |
| 43 | Gemma 4 31B | 1451 | デンス 31B |
| 61 | Gemma 4 26B-A4B | 1438 | MoE 26B/4B |
| 157 | Gemma 3 27B | 1366 | デンス 27B |
ベンチマークで強い所・弱い所
知識と難問集では、31B/26B が E2B/E4B を明確に引き離す。E2B の GPQA 43.4 は既に G3 27B の 42.4 に張り付き、「小型が大型に迫る」物語のあの一段に合致する。
コードは 4 代が 3 代比で最も視覚的インパクトの大きい分野の一つ。思考モードと合わせると、単なるコードコーパスの積み増しより「推論予算を正答率に換える」に近い。
| タスク | 31B | 26B-A4B | E2B | G3 27B |
|---|---|---|---|---|
| Terminal Bench Hard | 36.0 | 14.0 | 3.0 | 4.0 |
| Tau2 retail | 86.4 | 85.5 | 34.6 | 6.6 |
| Tau2 telecom | 69.3 | 43.0 | 19.7 | 3.1 |
エージェント／ツール系では 31B と 26B が分化：小売シナリオは両者接近、通信とターミナルのタスクは 31B が明らかに安定。「Arena が接近」＝「すべての agent タスクで互換」ではないと分かる。
Arena が証明：デンス 31B は超大型のオープン MoE の人間好み帯に割り込める。
静的ベンチが証明：思考＋新後訓練が STEM／コードの上限をもう一段上げる。
長コンテキストと量子化の表が証明：これは「研究室でスコアだけ報告しデプロイを無視」のモデルカードではない。効率スタックは第一級市民だ。
訓練と安全：レポートが書いたこと、あえて書かなかったこと
事前学習データは 2025-01 まで、ウェブ・コード・画像を含み、E2B/E4B/12B は音声を含む。汚染・不安全・暗唱リスクを除去。後訓練は Gemma 3 の枠組みを踏襲し思考を追加；データ側は PII／有毒／誤った自己同定／重複を除き、帰属・ためらい・拒否のサブセットを加える。
安全は、Gemini と同等プロセス、Frontier Safety Framework との対照、フィルタなし条件で固有の振る舞いを測定、前世代比で各安全カテゴリが改善しつつ理由なき拒否が低い、と書く。レポートは完全な安全の分項目表を出しておらず、訓練 token 総量、詳細なデータ配合、思考モードのシステム的アブレーションもない。これは「アーキと結果のホワイトペーパー」であって「完全に再現可能なレシピ集」ではないと読むべきだ。
TPU v5p/v6e、データ／系列／レプリカの三次元分割；ZeRO-3；Pathways のマルチスライス；Slice-Granularity Elasticity が障害復旧を「数分」から「数秒」へ縮める。これらはモデル定義を変えないが、なぜ全サイズにわたってエンコーダ路線とエンコーダなし路線を同時に進められたかを説明する。
このページを読み終えて、持ち帰るべき判断の枠組み
まず E2B/E4B を見る：実効の小パラメータ＋QAT＋より小さい音声エンコーダ＋4:1/5:1 アテンション。「総パラメータ」の宣伝名だけ見てはいけない。
31B が主証拠。Arena と STEM／コードが同時にオンライン；自分の量子化バックエンドが Q4_0 と MTP ドラフトヘッドを受け止められるか確認を。
12B のエンコーダなしこそ本当に掘る価値のある一章：「重いエンコーダは今も必須か」を問うている。
まず条件を揃える：thinking か、同日 Arena か、デンスか MoE か、コンテキスト長と KV 実装。条件の揃わない表は、20 点差でも意味がない場合がある。
重要な表の数値まとめ（展開可）
Table 5 抜粋（thinking） 31B：MMLU Pro 85.2 / AIME 89.2 / LCB 80 / CF 2150 / GPQA 84.3 / IFEval 98.9 / MRCR 66.4 / Terminal 36 / Tau2 retail 86.4
視覚 Table 6（高解像度） 31B：MMMU Pro 76.9 / MATH-Vision 85.6 / InfographicVQA 92.0 / OmniDocBench 0.131↓
メモリ Table 3 E2B 4.6→0.8；E4B 9.0→2.3；12B 24→7.65；26B-A4B 52/7.6→16.2/2.8；31B 64→19.2（GB、32k テキスト）
語彙 262k；Gemini Team 2025 の tokenizer と同系。
出典：Gemma Team, Google DeepMind.『Gemma 4 Technical Report』. arXiv:2607.02770v1。本ページは仕組み寄りの解説で、インタラクションは純 CSS。重要な数値は PDF 原文を正とする。前版はリストと表寄りだったが、本版は「核心の一言＋三メカニズムの深掘り＋証拠の二分」で書き直した。
Gemma 4：オープンモデルが「パラメータ盛りで大きく」→「小さな身体でも思考と省メモリで第一線に食い込む」
Google DeepMind が Gemma 4 テクニカルレポートを公開。数兆パラメータの巨人に頼らず、思考できる・省メモリ・ネイティブに画像と音声を扱う三手で、一枚の GPU で動く小型モデルに大型モデルへ真っ向勝負させる——図付きで一枚で解説。
↓ 一枚で読了 · 動く図が一つあり
Gemma 4 は Google が無料で公開し、誰でも自分の PC にダウンロードして動かせる AI モデル一式で、これを「オープンモデル」という。ネット越しにしか使えず中身が見えない類とは違う。オープン界はここ二年、ある行き詰まりに引っかかっていた——
✘ 動かせない：賢いオープンモデルほど普通は大きく、サーバー一棚や高級 GPU 数枚が要る
「パラメータ」はモデルの脳容量で、大きいほど賢く場所も食う。場所とは「VRAM」（GPU の中のメモリ）で、モデルはまるごと収まらないと動かない。数千億〜数兆パラメータの巨人は数百 GB の VRAM が要り、普通の GPU 一枚（十数〜二十数 GB）には到底入らない。
レポートが証明したいのは一言だけ——巨人に盛らずとも、三つのエンジニアリング手段を同時に効かせれば、小型モデルでも賢くて動かせる。
- 思考できる：答える前に下書き欄で一歩ずつ推論してから答える。数学・プログラミングの点数暴騰は主にこれのおかげ。
- 省メモリ：モデルを圧縮し記憶の仕方を変え、同じ旗艦を 64GB の VRAM から約 19GB へ。最小の号はスマホにさえ収まる。
- ネイティブに画像と音声：部品を外付けせず、モデル本体が画像を読み音声を聞ける。
三手のうち「思考できる」が点数暴騰の主エンジンであり、最も誤読されやすい一手。まず一枚の図で理解しよう。
「思考モード」とは、答えを出す前に専用の「下書き欄」で一歩ずつ推論させること。同じ難問でも、下書きするかしないかで結果は大きく変わる——
賢くても動かせなければ意味がない。省メモリの効果は、同じ 310 億パラメータの旗艦モデルが圧縮の前後でそれぞれ何 GB の VRAM を要するかで最も直感的に分かる——
64 GB は企業級 GPU や複数枚を束ねた機房級のマシンが要る；19.2 GB なら高級ゲーミング GPU 一枚（約 24GB）で収まる。換算根拠：同じ 31B モデルが未圧縮で 64GB、量子化圧縮後で 19.2GB、およそ三分の一に。以上の数値はすべてベンダ（Google DeepMind）の自己測定で、第三者の再現はまだない。
自分の PC に
落として動かせる
サーバー一棚ないと動かない。
→ ますます動かない
→ それでも動く
数千億の巨体に真っ向勝負
即答 20.8 点 → 思考して 89.2 点
GPU 一枚で収まる。
- × 数字は全部ベンダの自己測定
- × 第三者の再現はまだない
- × 「前世代を圧倒」は思考オンの水増し混じり
GPU 一枚で動く小型モデルも第一線に割り込んだ。