我的 AI 学习地图V2 · 学习地图 · 2026.10
← 返回Transformer

NOTE 07 / Transformer

很多位置怎样共同更新同一份参数

很多 token 共用一个矩阵,梯度为什么不会“抢着改”?

个人学习记录 · 原始对话见引文 · 整理核对于 2026-10-16
我的原话
位置 1 和位置 512 的梯度汇入同一套矩阵, 以这个角度讲一下 怎么共用的 更新顺序是怎样的 并行的话不会乱更新吗
P1-M37 · 2026-10-08 · 原对话 ↗
我的原话
已经基本清楚了 现在请你把矩阵乘法列出来 让我看到不同位置的token怎么改动同一个矩阵 这个问题就通了
P1-M39 · 2026-10-08 · 原对话 ↗
我的原话
一次就是T*B个信号对吧
T2-M85 · 2026-10-12 · 原对话 ↗

原 AI 解释 · 摘要

P1-M38、40 用 Y=XW 展开多个位置共享一个矩阵:总损失对 W 的梯度包含所有位置的贡献,汇总后再由优化器更新。T2-M84 把这一点延伸到一个 batch 的多个位置。

整理核对

“多个位置共用参数”不等于每个位置各自抢着改权重。普通训练中先计算总损失及其梯度,再执行更新。对一层 Y=XW,有 dL/dW=X^T(dL/dY),其中 ^T 表示转置,矩阵乘法完成各行贡献的累加。注意力会让位置相互依赖,但总梯度的求和关系仍成立。

B×T 是上限式直觉

实际被监督的位置还要扣除 padding、无效标签和答案外的 mask;不同代码可能对有效 token 求平均,也可能先按序列归一化。不能看见 [B,T] 就断言恰有 B×T 个等权训练信号。

理解变化 · 证据边界

“已经基本清楚了”是你在 P1-M39 的真实反馈;紧接着仍要求写出矩阵,说明你希望把整体链路落实到可计算的细节。本次整理不把它升级为“已熟练实现训练”。

关于这篇笔记,留下一个问题 →