代码生成也能像图片扩散一样快？——字节跳动 Seed Diffusion 实测笔记
更新时间：2025 年 8 月 1 日
“
想象一下：你写一句需求，模型在 1 秒内就给出 2000 多行可用的 Python 代码，而且质量不输传统逐字生成的模型。这不是营销口号，而是字节跳动 Seed 团队 7 月 31 日发布的实验模型 Seed Diffusion Preview 在公开基准上跑出的真实成绩。
1. 为什么扩散模型能让代码“秒出”？
先把概念说透：
-
自回归（AR）模型像打字员，一个 token 一个 token 往后敲，速度被“打字速度”限制。 -
离散扩散模型像修图师，先把整幅图（整段代码）喷成噪声，再一次性把噪声擦掉，天然支持并行计算。
Seed Diffusion Preview 用离散扩散思路，把“擦噪声”这一步拆成两个学习阶段，再加几道工程优化，最终把推理速度推到 2146 tokens/s，比同等规模 AR 模型快 5.4 倍。
| 维度 | 自回归 | Seed Diffusion |
|---|---|---|
| 生成顺序 | 必须从左到右 | 任意顺序并行 |
| 延迟瓶颈 | 每步串行 | 每步可并行 |
| 典型速度 | ~400 tokens/s | 2146 tokens/s |
| 质量（HumanEval） | 80 % 左右 | 79.4 %（可比） |
2. 两阶段课程：先学填空，再学改错
扩散模型如果只玩“随机掩码”，会养成坏习惯——它认为没掩码的位置一定正确，结果生成后不肯改。Seed Diffusion 用“课程表”治这个毛病。
阶段一：掩码填空
-
把 80 % 训练步用于传统掩码任务。 -
目标：学会看到“局部缺口”后，用上下文把洞补上。
阶段二：编辑改错
-
剩余 20 % 步改用编辑距离做噪声：随机插入、删除、替换若干 token。 -
目标：逼模型重新审阅整段代码，而不是只盯被改动的位置。
实验结果：加入第二阶段后，CanItEdit 修复任务 pass@1 从 50.5 % 提升到 54.3 %，证明“改错”能力确实被喂进去了。
3. 约束顺序：让扩散模型也懂“先声明后使用”
纯扩散允许任意顺序生成，但代码里的变量必须先定义再引用。Seed Diffusion 在后训练阶段加了一道“轨迹蒸馏”：
-
用已训练好的扩散模型给每个样本生成大量候选轨迹。 -
按 ELBO（证据下界）打分，筛出高概率轨迹。 -
用这些好轨迹再微调模型，让它学会“因果顺序”。
这样做既保留了并行采样的灵活性，又把人类先验“悄悄”塞了进去。
4. 同策略学习：越快越好，但别翻车
理论上扩散模型一步就能出结果，实际上步数太少会“翻车”。Seed 团队的做法是：
-
把**生成步数 |τ|**当奖励信号，用强化学习直接优化。 -
用验证器 V(·) 给最终答案打分，防止“瞎加速”。 -
训练时发现直接最小化步数会不稳，于是改用基于编辑距离的代理损失，让模型平滑地学会“走捷径”。
效果：步数被“剪枝”掉大量低质量路径，速度一路上涨，质量却保持平稳。
5. 工程落地：块级并行 + KV-Cache
算法之外，工程团队把扩散采样拆成块级半自回归流程：
-
把长代码切成若干块。 -
块内并行去噪，块间保持因果顺序。 -
已生成块的 KV-Cache 直接复用，减少重复计算。
图：不同块大小对延迟的影响
结论：32-token 的块在 H20 GPU 上性价比最高，既吃得下并行收益，又不会让一次前向过大。
6. 实测：速度和质量到底怎样？
官方在 8 个公开基准上跑了完整对比，这里挑大家最关心的三项：
| 基准 | 任务特色 | Seed Diffusion Preview | 同级 AR 模型平均 |
|---|---|---|---|
| HumanEval | 手写代码补全 | 79.4 % | ~80 % |
| LiveCodeBench v1-v6 | 竞赛新题，防数据泄露 | 72.6 % | 73 % 左右 |
| CanItEdit | 按指令修 bug | 54.3 % | 50.5 % |
一句话总结：速度翻 5 倍，质量不掉线，修 bug 还更拿手。
7. 快速体验指南
目前官方只放出 预览版，可直接在线试玩：
-
地址：https://seed.bytedance.com/zh/seed_diffusion -
无需申请，打开即用，支持 Python/Java/C++ 等主流语言。 -
建议一次输入 1–2 个函数级需求，速度感受最明显。
本地调用（未来开源计划）
文档提到后续会放出推理代码与权重，预计包括：
-
PyTorch 推理脚本 -
块级并行采样示例 -
KV-Cache 优化实现
8. FAQ：你可能想问的 8 个问题
| 问题 | 简明回答 |
|---|---|
| 和 Gemini Diffusion、Mercury Coder 有何不同？ | Seed Diffusion 在公开代码基准上速度领先，且明确给出 2146 tokens/s 的硬件环境（H20 GPU）。 |
| 能用中文注释生成代码吗？ | 训练数据来自 Seed-Coder 管道，支持多语言注释，中文自然可以。 |
| 模型规模多大？ | 论文未披露总参数量，但从对比表看与 8B–15B 模型同场竞技，推测在此区间。 |
| 会不会生成不安全代码？ | 目前为实验预览版，暂无完整护栏。生产环境需自行加固。 |
| 离散扩散只能做代码吗？ | 现阶段聚焦代码验证路线，论文指出未来会探索通用语言和复杂推理。 |
| 需要特殊硬件吗？ | 官方演示用 H20 GPU，消费级显卡暂未测试。块级并行理论上对显存更友好。 |
| 为什么有时生成结果重复？ | 早期版本在极短步数下会出现，阶段二的“编辑训练”已显著缓解。 |
| 何时开源？ | 官方仅表示“后续计划”，未给出时间表。 |
9. 写在最后：扩散语言模型的下一步
Seed Diffusion Preview 把离散扩散路线从“论文里的潜力股”推到“工程上可落地”的临界点。它告诉我们：
-
并行解码不只是机器翻译的玩具，代码这种结构化文本也能玩得转。 -
两阶段课程 + 约束顺序 + 同策略学习 三板斧，可以兼顾速度与质量。 -
块级推理 + KV-Cache 的工程套路，让大模型跑在消费级硬件上不再是梦。
下一步，团队会把这套框架往更大规模、更复杂推理任务上搬。如果你正在做代码助手、低代码平台，甚至只是想让本地 IDE 秒出模板，这条技术路线值得持续关注。
