Gemma 4 12B：下载、Ollama、GGUF 与 QAT 本地部署指南

Gemma 4 12B Unified 于 2026 年 6 月 3 日 发布。一个权重文件同时处理文本、图像和音频，无需像 E2B/E4B 等较小版本那样挂载独立的视觉和音频编码器。119.5 亿 参数，Apache 2.0 许可证，Ollama Q4 拉取约 7.6 GB，使其成为人们真正会在 16 GB 笔记本上尝试的模型。6 月 5 日，Google 为整个 Gemma 4 系列发布了 量化感知训练（QAT） 检查点——12B Q4_0 GGUF 现在约 6.7 GB，且质量优于标准 PTQ。下面的安装路径已包含新的 QAT 仓库。

本页是安装笔记：Gemma 3 有什么变化、如何将其接入 OpenCode、Codex CLI 和 Crush，以及它在哪些方面仍不及 Claude Code 等云端智能体。更广泛的 2026 模型地图请参见 最新 AI 模型对比（2026）。安装路径从 Gemma 4 12B 本地部署 开始。

最后更新：2026 年 6 月 8 日。发布于 aitoolsradar.org。

快速规格一览

Gemma 4 12B 的独特之处

Google 将这一变体称为 Unified，因为它 移除了 Gemma 4 E2B、E4B 和 31B 上使用的 独立视觉和音频编码器。取而代之：

• 视觉： 48×48 像素块通过一个小型嵌入器（约 3500 万参数）投影进解码器。
• 音频： 16 kHz 波形被转为 40 ms 帧，然后线性投影到相同的嵌入空间。
• 文本： 标准纯解码器 Transformer，采用 混合注意力（滑动窗口 + 全局层；最后一层始终为全局）。

你可以跳过其他 Gemma 4 尺寸所需的额外 1.5 亿到 5.5 亿的视觉塔和 3 亿的音频编码器文件。一次下载，一个运行时。

Unified 并不意味着轻量。KV 缓存、投影器权重和图像 token 预算（模型卡标注每张图 70 到 1120 个 token）仍然会占用显存。

常被引用的基准测试（指令微调版，厂商数据）

Google 在 模型卡 上公布了这些指令微调版本的数据。我们未重新运行测试套件。适合粗略比较，不适合作为选择你的代码库最佳模型的依据。

评估编程能力，看 LiveCodeBench 和 Codeforces。评估截图和渲染为图像的 PDF，加上 MMMU Pro。该表对比的是 Gemma 4 12B 和 Gemma 3 27B，而非 Gemma 3 12B。

大家怎么用（发布周，2026 年 6 月）

来自 HN、Reddit 和一些我们信任的本地测试：

1. 本地编程与 2026 年智能体 CLI

• llama.cpp / Ollama + Q4： 开发者拉取 gemma4:12b 并进行氛围编程测试。Senko 的扫雷基准（来自 HN 链接）报告在 12 GB 显卡上约 5 tok/s，有可修复的语法错误，不是前沿云端质量，但离线可用。
• 终端智能体（2026 年 6 月）： 开发者将相同的本地端点接入 OpenCode、Codex CLI（ollama / lmstudio provider）、Crush 或 Pi，通过配置中的 baseURL 实现，而非旧式的 IDE 聊天扩展。
• 云端智能体（另一条赛道）： Claude Code、Cursor Agent、Google Antigravity 和 GitHub Copilot 云智能体 是 2026 年付费日常编程的常见选择。它们原生不支持 Ollama；你需要在 Anthropic/OpenAI/Google 模型上使用它们，Gemma 12B 用于 私有本地推理。
• LiteRT-LM serve： Google 文档中提到端口 9379 作为本地 Gemma 的 OpenAI 兼容接口（Edge 博客）。将任何接受自定义 baseURL 的智能体指向该服务器。
• 混合技术栈： HN 评论者经常在同一台 16 GB 机器上搭配 Gemma 4 处理多模态 + Qwen 3.5 9B 编程，或在同一仓库上云端运行 Codex/Claude Code + 离线运行 OpenCode + Ollama。

如果你需要离线处理截图、音频片段或不想发送到云端 API 的草稿，值得占用这些磁盘空间。但它不会在复杂重构上取代 Claude Code 或 Codex。终端工作方面，OpenCode 或 Crush 指向 Ollama 是常见模式。

2. 多模态工作流（OCR、PDF、截图、视频、语音识别）

3. 端侧设备（Mac 和 iPhone）

• Google AI Edge Gallery 在 iOS 和 macOS 上运行端侧 Gemma 系列模型。
• Eloquent 在 Mac 上使用 12B 进行语音编辑（2026 年 6 月发布周上线）。
• LiteRT-LM 用于跨平台 CLI 导入和 litert-lm serve。

硬件仍然很重要：不是所有设备都能保证 12B 在手机上 流畅运行。

4. 微调

• Unsloth Gemma 4 训练指南： 统一 LoRA 在一次训练中同时涵盖视觉、音频和文本。
• Show HN: gemma-tuner-multimodal 用于 Apple Silicon 上的音频微调。作者警告 64 GB Mac 在约 2k token 附近会 OOM。

Gemma 4 12B vs Gemma 3 12B（及 vs E4B）

Gemma 4 12B 本地部署（2026 年 6 月）

选择以下一条路径。默认检查点：google/gemma-4-12B-it，除非你自行托管基础模型。

路径 A：Ollama（对大多数人最快）

当你想一条命令搞定 gemma 4 12b ollama 时最佳。

ollama pull gemma4:12b
ollama run gemma4:12b

采样参数（厂商 readme）： temperature 1.0，top_p 0.95，top_k 64。

Ollama 中的思维模式： 在系统提示词开头放置 <|think|>。

视觉提示顺序： 图像在文本之前。

12B 音频： 截至 6 月 5 日，Ollama 的 12b 标签不支持音频。使用路径 B 或 D 获取音频支持，或在 Ollama 中使用 gemma4:e4b 获取较小的支持音频构建。

路径 B：llama.cpp + Unsloth GGUF（可控 + 视觉）

当你关注 gemma 4 12b unsloth 量化质量时最佳。Unsloth 现在同时提供 QAT GGUF 和原始量化版本。

1. 从 unsloth/gemma-4-12b-it-GGUF 或 QAT 变体 unsloth/gemma-4-12B-it-qat-GGUF 下载。
2. 获取 mmproj-BF16.gguf（约 175 MB）用于视觉。
3. 推荐量化：UD-Q4_K_XL（约 7.37 GB），根据 Unsloth KL 基准测试。

./llama-server \
  --model gemma-4-12b-it-UD-Q4_K_XL.gguf \
  --mmproj mmproj-BF16.gguf \
  --temp 1.0 --top-p 0.95 --top-k 64 \
  --port 8001 \
  --chat-template-kwargs '{"enable_thinking":false}'

GGUF 大小参考（12B IT，仅权重）：

路径 C：Mac 上的 MLX（gemma 4 12b on mac）

Unsloth 提供了 MLX 聊天安装脚本：

curl -fsSL https://raw.githubusercontent.com/unslothai/unsloth/refs/heads/main/scripts/install_gemma4_mlx.sh | sh
source ~/.unsloth/unsloth_gemma4_mlx/bin/activate
python -m mlx_vlm.chat --model mlx-community/gemma-4-12B-it-4bit

M2/M3 16 GB： 可运行 Q4 级 12B，上下文适中。M2 8 GB： 建议使用 gemma4:e4b 或更高压缩量化。

路径 D：Transformers（完整多模态 + 音频）

当你需要音频 URL、视频帧和 enable_thinking 的 官方模板 时最佳。

pip install -U "transformers>=5.10.1" torch accelerate torchvision librosa

from transformers import AutoProcessor, AutoModelForMultimodalLM

MODEL_ID = "google/gemma-4-12B-it"
processor = AutoProcessor.from_pretrained(MODEL_ID)
model = AutoModelForMultimodalLM.from_pretrained(
    MODEL_ID, dtype="auto", device_map="auto"
)

messages = [
    {"role": "system", "content": "You are a helpful assistant."},
    {"role": "user", "content": "Summarize this repo layout in five bullets."},
]

inputs = processor.apply_chat_template(
    messages,
    tokenize=True,
    return_dict=True,
    return_tensors="pt",
    add_generation_prompt=True,
    enable_thinking=False,
).to(model.device)

outputs = model.generate(**inputs, max_new_tokens=1024)

图像： 在文本前放置 {"type": "image", "url": "..."}。音频： 在指令文本后放置 {"type": "audio", "audio": "..."}（按模型卡要求）。

路径 E：LiteRT-LM（gemma 4 12b litertlm）

Google 提供的 OpenAI 兼容本地 API 和 Mac 智能体工作流路径：

litert-lm import --from-huggingface-repo=litert-community/gemma-4-12B-it-litert-lm \
  gemma-4-12B-it.litertlm gemma4-12b
litert-lm serve

将 2026 年智能体 指向 http://localhost:9379/v1（请在你的构建中确认端口）：

不原生支持本地： Claude Code、Cursor（仅 BYOK 云 API）、Antigravity 和 Antigravity CLI（云模型；取代已弃用的 Gemini CLI）。

路径 F：vLLM（生产 GPU）

使用 vLLM Gemma 4 12B 配方 和 nightly / gemma4-unified 镜像。BF16 舒适推理需 40 GB+ 显存；显存较低时使用 QAT 压缩张量检查点 google/gemma-4-12B-it-qat-w4a16-ct（152k+ 下载）。SGLang 也支持 QAT 检查点用于高效推理。

vllm serve google/gemma-4-12B-it \
  --max-model-len 16384 \
  --enable-auto-tool-choice \
  --reasoning-parser gemma4 \
  --tool-call-parser gemma4 \
  --limit-mm-per-prompt '{"image": 4, "audio": 1}'

显存与内存规划

Google 的仅权重表（请在你的量化版本上实际验证）：

实际规则： 根据上下文长度额外加 2–8+ GB 用于 KV 缓存。Gemma 模型大词表在 32K 上下文时可能远超权重大小（Ollama 社区报告）。

KV 缓存提示（Ollama）： 如果上下文导致显存飙升，尝试 OLLAMA_KV_CACHE_TYPE=q8_0。

Gemma 4 QAT（量化感知训练）—— 2026 年 6 月 5 日

12B 发布两天后，Google 为每个 Gemma 4 尺寸发布了 QAT 检查点。QAT 不是在训练后量化（PTQ），而是在训练过程中模拟量化。结果：压缩权重比标准 PTQ 量化保留更多的原始模型质量。

12B 现在有三个新的 Hugging Face 仓库：

Unsloth 也在 unsloth/gemma-4-12B-it-qat-GGUF（121k+ 下载）提供 QAT GGUF 及其 UD 量化版本。Google 还发布了 MTP QAT 检查点，让你在量化权重下也能保持多 token 预测加速。

现在该选哪个量化版本： QAT Q4_0 约 6.7 GB，比标准 Q4_K_M 小约 0.4 GB，且 Google 基准测试显示其质量更接近原始 BF16 模型。如果你已经在 Ollama 中拉取了 gemma4:12b 且运行正常，无需立即切换。但对于全新安装或 vLLM 推理，建议从 QAT 检查点开始。你也可以通过 Transformers.js 在浏览器中直接运行 QAT 模型。

思维模式、工具和系统提示词

Gemma 4 新增了原生 system 角色 和结构化的 函数调用 token。用于智能体：

1. 在 apply_chat_template(..., tools=[...]) 中声明工具。
2. 计划复杂时启用思维模式：enable_thinking=True。
3. 在下一轮用户对话中，从历史记录中删除思维通道，但在同一智能体回合的工具调用之间除外（思维模式文档）。

多 token 预测（MTP）： 可选的草稿器检查点用于加速推理（MTP 概览）。支持的平台包括 Ollama、MLX、vLLM 和 LiteRT-LM。Google 还发布了 MTP QAT 检查点，让你可以同时获得更快解码和保留质量的 QAT 量化。

2026 年编程智能体（如何搭配 Gemma 4 12B）

如果你在 2026 年中期选择智能体，需要分两类：支持本地 OpenAI URL 的终端 CLI，和需要 Anthropic、OpenAI 或 Google 密钥的云 IDE 智能体。Gemma 12B 只适合第一类。

开发者实际在用什么（2026 年 6 月）

Google 发布博客仍提及较旧的 OpenAI 适配工具。2026 年 6 月的讨论中，本地接入通常是 OpenCode、Codex CLI 或 Crush。

推荐技术栈：本地 Gemma + 云端前沿

1. 运行权重： ollama pull gemma4:12b 或 litert-lm serve。
2. 本地智能体： ollama launch opencode 或 Pi/Codex 指向 http://localhost:11434/v1。
3. 高难度任务： 同一仓库使用 Claude Code（Opus）或 Codex（GPT-5.5 级）云端运行。
4. Google UI 赛道： Antigravity 或 Antigravity CLI。Google 正在将消费者版 Gemini CLI 迁移到 Antigravity CLI；企业版 Gemini CLI 继续运行。本地 Gemma 留在 Ollama/OpenCode。

OpenCode + Ollama（可直接复制的配置）

{
  "$schema": "https://opencode.ai/config.json",
  "provider": {
    "ollama": {
      "npm": "@ai-sdk/openai-compatible",
      "name": "Ollama (local)",
      "options": { "baseURL": "http://localhost:11434/v1" },
      "models": {
        "gemma4:12b": { "name": "Gemma 4 12B (local)" }
      }
    }
  }
}

文档：Ollama + OpenCode。在 16 GB 机器上从 8k 到 16k 上下文开始。逐步提高 num_ctx 直到显存报错；64k 对大多数笔记本来说不太现实。

Codex CLI + Ollama（配置示例）

在 ~/.codex/config.toml 中（请对照 高级配置 验证）：

[model_providers.local_ollama]
base_url = "http://localhost:11434/v1"

然后为沙盒任务选择 gemma4:12b 作为模型。Codex 是 OpenAI 的智能体 CLI。当你已经在 codex exec 环境中但想使用离线权重时很有用。

Crush + 本地 OpenAI 兼容 API

在 crush.json 中将 OpenAI 兼容 provider 指向 Ollama 或 LiteRT-LM（参见 Crush README 配置部分）。与 Open WebUI + 本地服务器的配置模式相同。

编程适用性表（Gemma 4 12B 本身）

API 和云端路由（gemma 4 12b api）

更多路由模式请参阅我们的 OpenRouter 免费模型（2026） 指南；12B 上线后替换模型 ID。

故障排除

谁该使用、关注还是跳过

AI Tools Radar 相关阅读

• 最新 AI 模型对比（2026）。Gemma 4 与 GPT-5.5 和 DeepSeek V4 的对比位置
• DeepSeek V4 vs ChatGPT vs Claude 编程对比（2026）。如果编程是你的主要技术栈
• Devin Desktop vs Cursor（2026）。在本地 Gemma 旁边选择 IDE 智能体赛道
• OpenRouter 免费模型（2026）。12B 路由上线前的托管 Gemma 4 31B 模式

更新日志

• 2026-06-05： 首次发布。Ollama、MLX、LiteRT-LM 本地部署及 2026 年编程智能体（OpenCode、Codex CLI、Crush）配置。消费者版 Gemini CLI 迁移到 Antigravity CLI。
• 2026-06-08（更新）： 新增 Gemma 4 QAT（量化感知训练）检查点——12B 的 Q4_0 GGUF、vLLM 压缩张量和 Unsloth QAT GGUF。MTP QAT 检查点也已可用。