2026年6月，Google DeepMind正式发布DiffusionGemma——一款实验性开源语言模型，其最大亮点在于首次将图像AI领域的扩散机制（Diffusion）引入文本生成。与传统逐Token自回归生成不同，DiffusionGemma通过并行去噪一次性生成整段文本，推理速度最高提升4倍。本文带你从环境配置到推理实战，快速上手。

一、DiffusionGemma 是什么？

DiffusionGemma基于Gemma 4和Gemini Diffusion研究成果开发，采用文本扩散技术：模型从随机噪声开始，通过多次迭代逐步去除噪声，最终还原出清晰的文本。与自回归模型"一次只输出一个Token"不同，DiffusionGemma可以一次性并行输出256个Token的词块。

模型总参数量为260亿，但采用条件计算技术，每次推理仅激活38亿参数，在消费级显卡上即可运行——这意味着你不需要昂贵的A100/H100集群，一张RTX 4090就能本地部署。

二、环境准备

由于DiffusionGemma消耗的是显存而非CPU内存，建议最低配置如下：

• 显卡：NVIDIA RTX 4090 24GB显存（推荐）或RTX 3090
• 系统：Ubuntu 22.04+ 或 Windows 11（WSL2）
• 框架：Hugging Face Transformers + PyTorch 2.4+
• 磁盘空间：至少50GB（模型权重约45GB）

安装依赖：

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu124
pip install transformers accelerate sentencepiece
pip install git+https://github.com/huggingface/diffusers.git

三、下载模型权重

访问 Hugging Face hub 搜索 google/diffusiongemma-9b 获取模型。建议先申请访问权限（Google已开放学术和商业使用许可）。下载命令：

from huggingface_hub import snapshot_download
snapshot_download(repo_id="google/diffusiongemma-9b", local_dir="./diffusiongemma")

四、推理实战

DiffusionGemma支持三种推理模式，每种适用于不同场景：

模式一：标准文本生成

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model = AutoModelForCausalLM.from_pretrained(
    "./diffusiongemma",
    torch_dtype=torch.bfloat16,
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained("./diffusiongemma")

prompt = "请用一段话解释量子计算的基本原理。"
inputs = tokenizer(prompt, return_tensors="pt").to("cuda")
outputs = model.generate(
    inputs.input_ids,
    max_new_tokens=256,
    diffusion_steps=8,  # 扩散步数，步数越高质量越好但速度越慢
    temperature=0.7
)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

模式二：批量并行生成——DiffusionGemma的核心优势

# 一次输入多个prompt并行生成
prompts = ["写一首关于春天的短诗", "解释一下什么是黑洞", "Python中如何实现快速排序"]
inputs = tokenizer(prompts, return_tensors="pt", padding=True).to("cuda")
outputs = model.generate(inputs.input_ids, diffusion_steps=10)
for i, out in enumerate(outputs):
    print(f"输出{i+1}:", tokenizer.decode(out, skip_special_tokens=True))

五、性能对比与最佳实践

实测数据显示，在RTX 4090上：

• 单次生成256 Token：DiffusionGemma约0.8秒，同等规模自回归模型约3.2秒——快4倍
• 8次迭代推理：质量基本达到自回归模型的水平，而速度优势明显
• HumanEval代码测试：通过率89.6%，证明其代码生成能力同样出色

最佳实践：

• 低延迟场景（实时聊天、流式输出）：建议使用4-6步扩散
• 高质量场景（文章生成、报告撰写）：建议使用8-12步扩散
• 批量离线处理：充分利用并行生成优势，一次性输入多个prompt

六、总结

DiffusionGemma代表了文本生成技术的一个重要方向——从自回归到扩散的范式转变。虽然目前仍处于实验阶段，但其在推理速度和并行生成方面的优势已经展现了巨大潜力。对于需要在消费级硬件上运行本地AI推理的开发者来说，DiffusionGemma值得一试。

此外，DeepSeek V4同样在华为昇腾上跑通了DiffusionGemma的推理适配方案，表明国产芯片生态正快速跟上开源AI模型的部署需求。

→ 立即体验Google Gemini，收藏到 AI Pick 导航站