我的 AI 学习地图V2 · 学习地图 · 2026.10
← 返回Transformer

NOTE 17 / Transformer

D 到底做了什么?从点积到 batch 隔离

把形状公式落到实际计算,再检查“BT 可以理解成 1”的边界。

个人学习记录 · 原始对话见引文 · 整理核对于 2026-10-20
这篇笔记的整理范围

依据 2026-10-20 收到的 TXT 导出整理。行号是归档文本坐标;原文没有角色标签和时间,按相邻问答区分发言。引用框逐字保留,节选明确标注;本次核对不代表我在当时已接受或掌握。

这篇是 Transformer 阶段的进一步理解。两个片段按问题并置;原文件中 BT 的讨论更早。

D 没有白白消失:它被求和成了每一对 token 的分数

M122–734、M2352–2836:你先用 B、T、D 问成本,随后卡在矩阵内维度 D 到底做了什么,最后用自己的话复述。

我的原话 · 用熟悉的张量记号提出问题
两两比对 用BTD来讲 这个资源消耗怎么算的来着?是T方还是D方
对话文本 M · L122 · 原对话日期未提供 · 2026-10-20 归档
我的原话 · 最核心的卡点
我的疑惑点在于 D不是特征的维度吗 但是在乘的时候 D好像只作为一个链接两个矩阵乘法的东西而存在 那在特征上到底干了个什么呢 有计算吗
对话文本 M · L2510 · 原对话日期未提供 · 2026-10-20 归档
我的原话 · 可直接用作笔记开场的顿悟原话
哦哦哦哦对 是每个的D在乘 只不过最后数值融合成一个了 就变成了T的个数了
对话文本 M · L2740 · 原对话日期未提供 · 2026-10-20 归档

原 AI 解释 · 当时回答摘要

原 AI 的点积小例子有帮助,但把特征维度说成固定可读语义,并反复声称没有丢失任何信息,容易引起新误解。

整理核对与修正

对单头,S[i,j]=Σ_r Q[i,r]K[j,r]/√d。D/H 个分量都参加乘加,结果是一个标量;对所有位置对重复,得到 T×T 分数表。softmax 后乘 V,则沿位置维度加权聚合 value 分量。评分不是可逆地保存全部特征,也不保证某一维固定对应“语法/人类/医学”。W_O 混合拼接后的头输出,并不重新计算一次跨头注意力。 [R109] ↗ [R110] ↗

整理者观察 · 理解怎样变化

M2740 是明确的个人重新表述,可以标为当时的理解转折;其中“变成 T 的个数”旁注为每个 query 有 T 个分数,整体是 T×T。

继续追问

把 B=2、H=2、T=3、d=2 的形状逐步写出,再核对分数矩阵与参数矩阵分别是什么。

“BT 可以理解成 1”在哪里成立?我抓住了 AI 的跨样本错误

M1087–1864:原 AI 把 MLP 与一层 Linear 混称,你追问节点、权重和 BTD。一个有用的逐位置直觉被 AI 错推成跨 batch 注意力,你随后纠正。

我的原话 · 发现 MLP 的命名矛盾
所以现在我们讲mlp是指什么 一层全连接? 那这也不符合多层的概念啊
对话文本 M · L1136 · 原对话日期未提供 · 2026-10-20 归档
我的原话 · 最初的节点与权重对应
节点就是权重矩阵 连线就是做矩阵乘法 激活函数就是激活 然后在每个节点上都做激活
对话文本 M · L1311 · 原对话日期未提供 · 2026-10-20 归档
我的原话 · 原文仍含前一句,不能擅自删成完美改口
节点就是权重矩阵 节点就两个层里的 点 也就是一维矩阵里的每个数
对话文本 M · L1396 · 原对话日期未提供 · 2026-10-20 归档
我的原话 · 把向量直觉扩展到真实输入
但是如果输入不是一维呢 比如BTD矩阵
对话文本 M · L1458 · 原对话日期未提供 · 2026-10-20 归档
我的原话 · 顿悟原话
哦哦哦哦哦哦哦哦 BT可以理解成1
对话文本 M · L1572 · 原对话日期未提供 · 2026-10-20 归档
我的原话 · 主动识别 AI 的错误
啊?注意力是BT的都互相注意吗 不是T自己内部吗
对话文本 M · L1672 · 原对话日期未提供 · 2026-10-20 归档

原 AI 解释 · 当时回答摘要

原 AI 先把 MLP 说成一层 Linear,又把 [B,T,D] 展平后的 BT 行拿去彼此做注意力。它后面承认 batch 隔离,但在资源核算处仍混用 D 与 H。

整理核对与修正

MLP 不等于单个 Linear;Transformer 的普通 FFN 含两次仿射映射与中间激活。对逐位置 Linear,可把 [B,T,D] 暂看成 [BT,D],每行复用同一权重。这里的“1”应理解为一次看一行,不是 BT 的数值等于 1。标准 batch 自注意力各样本隔离,分数为 [B,H,T,T];不能得到 [(BT),(BT)]。 [R109] ↗ [R110] ↗

整理者观察 · 理解怎样变化

你的纠错是明确的。M1396 同时留下“节点就是权重矩阵”和“节点是向量里的数”,宜原样展示,并说明后半更接近激活值的图示对应,前半仍需修正。

继续追问

区分参数、激活值和计算图节点;不能把增加 batch 后的激活数量说成增加了模型神经元参数。

核对来源 · 2 项

技术核对:2026-10-20。个人学习记录只代表原对话当时的范围。

关于这篇笔记,留下一个问题 →