这篇是 Transformer 阶段的进一步理解。两个片段按问题并置;原文件中 BT 的讨论更早。
D 没有白白消失:它被求和成了每一对 token 的分数
M122–734、M2352–2836:你先用 B、T、D 问成本,随后卡在矩阵内维度 D 到底做了什么,最后用自己的话复述。
两两比对 用BTD来讲 这个资源消耗怎么算的来着?是T方还是D方对话文本 M · L122 · 原对话日期未提供 · 2026-10-20 归档
我的疑惑点在于 D不是特征的维度吗 但是在乘的时候 D好像只作为一个链接两个矩阵乘法的东西而存在 那在特征上到底干了个什么呢 有计算吗对话文本 M · L2510 · 原对话日期未提供 · 2026-10-20 归档
哦哦哦哦对 是每个的D在乘 只不过最后数值融合成一个了 就变成了T的个数了对话文本 M · L2740 · 原对话日期未提供 · 2026-10-20 归档
原 AI 解释 · 当时回答摘要
原 AI 的点积小例子有帮助,但把特征维度说成固定可读语义,并反复声称没有丢失任何信息,容易引起新误解。
整理核对与修正
对单头,S[i,j]=Σ_r Q[i,r]K[j,r]/√d。D/H 个分量都参加乘加,结果是一个标量;对所有位置对重复,得到 T×T 分数表。softmax 后乘 V,则沿位置维度加权聚合 value 分量。评分不是可逆地保存全部特征,也不保证某一维固定对应“语法/人类/医学”。W_O 混合拼接后的头输出,并不重新计算一次跨头注意力。 [R109] ↗ [R110] ↗
整理者观察 · 理解怎样变化
M2740 是明确的个人重新表述,可以标为当时的理解转折;其中“变成 T 的个数”旁注为每个 query 有 T 个分数,整体是 T×T。
继续追问
把 B=2、H=2、T=3、d=2 的形状逐步写出,再核对分数矩阵与参数矩阵分别是什么。
“BT 可以理解成 1”在哪里成立?我抓住了 AI 的跨样本错误
M1087–1864:原 AI 把 MLP 与一层 Linear 混称,你追问节点、权重和 BTD。一个有用的逐位置直觉被 AI 错推成跨 batch 注意力,你随后纠正。
所以现在我们讲mlp是指什么 一层全连接? 那这也不符合多层的概念啊对话文本 M · L1136 · 原对话日期未提供 · 2026-10-20 归档
节点就是权重矩阵 连线就是做矩阵乘法 激活函数就是激活 然后在每个节点上都做激活对话文本 M · L1311 · 原对话日期未提供 · 2026-10-20 归档
节点就是权重矩阵 节点就两个层里的 点 也就是一维矩阵里的每个数对话文本 M · L1396 · 原对话日期未提供 · 2026-10-20 归档
但是如果输入不是一维呢 比如BTD矩阵对话文本 M · L1458 · 原对话日期未提供 · 2026-10-20 归档
哦哦哦哦哦哦哦哦 BT可以理解成1对话文本 M · L1572 · 原对话日期未提供 · 2026-10-20 归档
啊?注意力是BT的都互相注意吗 不是T自己内部吗对话文本 M · L1672 · 原对话日期未提供 · 2026-10-20 归档
原 AI 解释 · 当时回答摘要
原 AI 先把 MLP 说成一层 Linear,又把 [B,T,D] 展平后的 BT 行拿去彼此做注意力。它后面承认 batch 隔离,但在资源核算处仍混用 D 与 H。
整理核对与修正
MLP 不等于单个 Linear;Transformer 的普通 FFN 含两次仿射映射与中间激活。对逐位置 Linear,可把 [B,T,D] 暂看成 [BT,D],每行复用同一权重。这里的“1”应理解为一次看一行,不是 BT 的数值等于 1。标准 batch 自注意力各样本隔离,分数为 [B,H,T,T];不能得到 [(BT),(BT)]。 [R109] ↗ [R110] ↗
整理者观察 · 理解怎样变化
你的纠错是明确的。M1396 同时留下“节点就是权重矩阵”和“节点是向量里的数”,宜原样展示,并说明后半更接近激活值的图示对应,前半仍需修正。
继续追问
区分参数、激活值和计算图节点;不能把增加 batch 后的激活数量说成增加了模型神经元参数。
核对来源 · 2 项
技术核对:2026-10-20。个人学习记录只代表原对话当时的范围。