它的本体是一份写给 AI 的说明书

gemma-trainer 的本体是一个 SKILL.md 文件，加上 5 个现成的 Python 脚本模板。它不带界面、也不是要你直接上手调用的训练库。

SKILL.md 是一份专门写给 AI Agent 读的蓝图。里面把「本地微调该怎么做」的最佳实践、每个参数该取什么值、有哪些坑要避开，全部写死。你的助手读了它，就从「大概知道怎么训练」变成「知道这台机器上该调哪个脚本、每个旋钮拧到几」。仓库里的 5 个脚本各管一摊：一个跑监督微调，一个跑偏好对齐，一个训打分器，一个专门验证数据格式，还有一个用来做数据蒸馏。

这套技能不挑门派，和具体的 AI 工具无关，从 Gemini 到 Claude 都能用，配 Google 自己的 Antigravity 命令行工具（agy）也行。用法简单到一句话：把 gemma-trainer 文件夹拷进你 AI 助手的技能目录，助手立刻就知道怎么带你走。

更有意思的是，助手不只是照单执行，它会按技能里写的能力约束帮你拦错。有一个真实例子：一次训练请求手误写成了用 Gemma 4 31B 做音频任务，助手当场提醒，31B 是个只管文字和图像的模型，根本没有音频能力，建议改用 E2B 或者 12B。

你要求用一个没有音频能力的模型做音频微调，助手会拦下来并给出可行的替代型号。来源：DEV / Google AI

教知识、调偏好、学打分，三条路怎么选

技能里把微调分成三种方法，对应三种不同的目标。想清楚你要模型学会什么，就知道该走哪条路。

DPO 有个硬规矩：一定要先在你的领域上做完 SFT，再来做 DPO。直接拿一个没见过你数据的基础模型跑 DPO，通常会失败，或者把输出格式搞坏。

三种方法的学习率，差了好几个量级

一个容易被忽略、却很能说明问题的细节：三条路建议的学习率（每一步把参数往前挪多大）差得非常远，而且不是「教得越多步子越大」这么简单。DPO 只在模型已经会的基础上轻轻校正风格，步子稍微一大就会毁掉之前学好的格式，所以要小到 SFT 的两百分之一。RM 训练的是一个新加上去、从零学起的打分头，反而是三者里步子最大的。

条形只示意量级高低，不是线性比例。真实数值：RM 用 1e-3、SFT 用 2e-4、DPO 用 1e-6，DPO 比 SFT 还小两百倍。

这两种数据长什么样，技能里给了标准范例，你可以照着准备自己的数据集。

{
  "messages": [
    {"role": "user", "content": "Tell me a joke."},
    {"role": "model", "content": "Why did the computer go to the doctor? It had a virus!"}
  ]
}

{
  "prompt": "Write a python function to compute factorial.",
  "chosen": "def factorial(n):\n    return 1 if n <= 1 else n * factorial(n - 1)",
  "rejected": "factorial is computed using recursion or loops. Just import math."
}

训练时它只学「该怎么回」，不背你的提问

还有一个藏在脚本里的讲究。喂进去的是一整段「用户提问加模型回复」，但训练时并不会两半都学。脚本会先找到模型回复的起点，只对回复那半计算损失损失（loss）就是模型答得对不对的扣分。只对回复部分扣分，模型就只学「该怎么回」，不会去背用户的提问，用户提问那半直接跳过。这样模型学到的是「遇到这类问题该怎么回答」，而不是把你的问题也一并背下来。

没有现成数据？让大模型帮你造

微调最缺的往往是数据。技能里还带了一个数据蒸馏（distillation）脚本 distill_dataset.py，思路是让一个大块头的「老师」模型（比如 Gemma 4 31B）生成高质量的训练数据，再拿这些数据去训一个小巧的「学生」模型（比如 E2B）。它给了两种造数据的方式：

老师模型可以挂在本地的 Ollama 上跑，从造数据到训练全程不出你这台电脑。

怎么把一个大模型塞进你的显卡

在自己电脑上微调，最怕的就是显存不够、训练直接崩掉（爆显存，英文叫 OOM）。gemma-trainer 靠三样东西把大模型塞进消费级显卡：LoRA、QLoRA，和一个叫 Unsloth 的引擎。

具体分工是这样：单张显卡优先用 Unsloth，它原生支持 Gemma 4，官方称比标准的 Hugging Face 训练省最多 70% 显存、快 2 倍；只有到了多张显卡的环境，或者装不了 Unsloth，才回退到 Hugging Face 的 TRL 加 PEFT。不管哪条路，都建议开 QLoRA（4-bit 量化）把模型参数从常见的 16 位精度压到 4 位存储，体积和显存占用直接降到约四分之一，代价是极小的精度损失，这是把 12B、31B 这种大号 Gemma 塞进消费级显存的关键。

还有一个坑要注意：Gemma 4 本身支持到 256K 的超长上下文，但本地训练别贪这个，技能建议压到 2048 到 8192，否则很容易爆显存。

到底要什么样的电脑

开了 QLoRA 加 Unsloth 之后，门槛比很多人想的低。按 Unsloth 官方给的数字，微调不同大小的 Gemma 4，一张消费级显卡就能起步，小模型甚至能在免费的 Google Colab 上跑：

显存数字来自 Unsloth 官方 Gemma 4 训练文档，为 QLoRA / LoRA 微调的参考值；全量微调（不压缩）要几倍于此，通常得多卡。

可以直接抄的 LoRA 参数配方

技能把常用的 LoRA 参数默认值都写好了，你准备训练时可以照着填：

参数定好，跑起来就是一条命令。想自己动手、不经过 AI 助手也行，直接调脚本，比如用默认设置对 E2B 做一次监督微调：

python sft_train.py \
  --model google/gemma-4-E2B \
  --dataset your_data.json \
  --lora-r 16 --lora-alpha 32 \
  --epochs 3 --lr 2e-4

DPO 和奖励建模各有对应的 dpo_train.py、reward_train.py，参数风格一样。装不了 Unsloth 时加 --force-hf 会自动回退到 Hugging Face 那套。

还能教它看图、听声，再装进手机

Gemma 4 天生就是多模态的，能处理图像和音频。想训它看图或听声，改动比想象中小：把数据格式里 content 块的类型从 text 换成 image 或者 audio 就行。

{
  "messages": [
    {"role": "user", "content": [
        {"type": "text", "text": "Describe this audio."},
        {"type": "audio", "url": "path/to/audio.wav"}
    ]},
    {"role": "assistant", "content": [
        {"type": "text", "text": "This is an audio file of a bird chirping."}
    ]}
  ]
}

音频有些讲究：要用 16kHz 单声道的采样，脚本里还专门打了个补丁，修一个音频数据类型对不上导致训练报错的老毛病，省得你自己去踩。图像和音频微调支持的型号也标清楚了，音频只有 E2B、E4B、12B 这几个能做，31B 就不行，也正是前面助手拦你的那个原因。

训完之后，模型能一路走到你的口袋里。用 Unsloth 原生导出、或者用 llama.cpp，把模型转成 GGUF 这类轻量格式，再交给 LiteRT-LM，就能塞进手机、网页和 IoT 设备里跑，还能吃上 CPU、GPU、NPU 的硬件加速。「本地微调，本地部署」在一条链子上就走通了。

实战：把 Gemma 调成古朝鲜文学翻译家

一个跑通的真实例子：把 Gemma 4 E2B 微调成《洪吉童传》（一部古朝鲜文学）的翻译专家。整个过程，你要做的就是对助手说一句话。

Fine-tune Gemma 4 E2B on the dataset bebechien/HongGildongJeon.

接下来助手会陪你走完四步：先用验证脚本核对你的数据合不合格式，再挑一组既能教会模型语言细微差别、又不会撑爆显存的 LoRA 参数，然后用省资源的默认配置开训，最后评估结果、根据表现调参再来一轮。你还可以让它现写一个自定义的评估脚本，比如一个专门查转写相似度的脚本。训练跑完，助手会给你一份完整报告，把这轮的表现和下一轮能往哪改说清楚。

训练跑完，助手给出一份综合报告，标明表现和下一轮的改进方向。来源：DEV / Google AI

怎么开始？把 gemma-trainer 文件夹拷进你 AI 助手的技能目录，助手立刻就懂怎么带你走。整个 gemma-skills 仓库在 GitHub 上开源：github.com/google-gemma/gemma-skills。

Google 在开源仓库里加了 gemma-trainer。它不是又一个训练软件，而是一份写给 AI 助手读的说明书（把最佳做法和参数全写死）加 5 个现成脚本。你说人话，助手照着选脚本、定参数、跑训练。

但这句话背后，助手到底替你做了哪几件技术活？下面一张图看懂。

小互 只说一句「用《洪吉童传》数据集微调 Gemma 4 E2B」，助手读完说明书就替他挑路（这次要教新知识、走 SFT），再定好参数、开训、评估，你出一句话，选脚本、拧参数、防出错这些技术活它包了。三条路：教新知识走 SFT、调说话风格走 DPO、训一个打分员走 RM。

怎么让一张几千块的家用显卡也训得动这么大的模型？靠 LoRA，不重训整个模型，只在旁边挂一小叠可训练的「便签」，原模型冻着不动；再把它压成 4 位精度（QLoRA）、交给专为单显卡优化的 Unsloth 引擎跑。省下的显存（显卡上的内存，训练全靠它，不够就崩）是这样：

训完还能转成轻量格式塞进手机、IoT 设备里跑；想让它看图、听声，也只是把数据里一个字段从「文字」换成「图像」或「声音」，本地训练、本地部署，一条链子上走通。