我的 AI 学习地图V2 · 学习地图 · 2026.10
← 返回多模态与动作

NOTE 10 / 多模态与动作

扩散:把训练和生成分成两条流程

知道噪声从哪里来,再区分网络前向与生成循环。

个人学习记录 · 原始对话见引文 · 整理核对于 2026-10-16
DDPM 的训练与生成对照:训练采样时间步并学习预测噪声,生成固定网络参数并逐步反向采样
上半部分是一次训练迭代:采样时间步和高斯噪声,加噪后预测噪声并更新参数;训练整体需要反复迭代。下半部分是生成过程:参数固定,从噪声开始反复调用网络与采样器。图示采用 DDPM 的噪声预测参数化,不把采样器简化为直接减去预测噪声。[R4] ↗ 查看大图 ↗
我的原话(节选)
加噪 采样 训练 去噪 有点混了
M1-M13 · 2026-10-12 · 原对话 ↗
我的原话(节选)
那意思加噪过程的每一步都有记录吗 要不然怎么算损失
M1-M11 · 2026-10-12 · 原对话 ↗
我的原话
这样 你类似llm 把扩散模型 训练和推理时 两个流程给我梳理一下
M1-M29 · 2026-10-12 · 原对话 ↗

原 AI 解释 · 摘要

原对话先解释噪声监督从哪里来,再按你的要求对照语言模型,把扩散的训练与推理拆开。核心帮助是:训练目标可以由自行采样的噪声构造,而不是保存每一次真实加噪历史。

整理核对 · 以 DDPM 噪声预测为例

训练:取干净样本 x_0,采样时间 t 和噪声 ε,直接算出 x_t;网络根据 x_t、t 及可选条件预测 ε,再比较预测与已知噪声。生成:从随机噪声出发,按采样算法反复调用网络更新状态,最后得到样本。[R4] ↗

三种选择不要绑死

U-Net 或 DiT 是主干结构;预测噪声、干净样本或速度场是预测目标;DDPM、DDIM 等是采样路径与算法选择。换了主干,不代表其他两项必然一起变化。

另一条原始理解 · 整理核对

M1-M41 用“降维减冗余计算保留高效语义信息”理解潜空间。减少生成计算的方向可以保留,但潜表示也承载重建需要的纹理和细节,不能写成“只剩纯语义”。[R9] ↗

继续追问 · 整理者建议

画图前先确定一个明确版本,把网络一次前向的输入输出,与采样器的外部循环分开标注。

核对来源 · 2 项

技术核对:2026-10-16。个人学习记录只代表原对话当时的范围。

关于这篇笔记,留下一个问题 →