我的 AI 学习地图V2 · 学习地图 · 2026.10
← 返回Transformer

NOTE 05 / Transformer

Q、K、V:别把聚合当成残差

匹配、聚合与残差,是三件要沿箭头分开的事。

个人学习记录 · 原始对话见引文 · 整理核对于 2026-10-16
注意力聚合与残差的两条信息路径,以及单个注意力头的 Q、K、V 计算
先区分注意力内部的加权聚合与外部的残差相加。本图展开原始 Transformer 解码器的 masked self-attention 子层,采用 Post-LN 顺序;每头分别投影与一次大投影后分头等价。图中未展开位置编码与 FFN,不代表所有现代模型都采用这一归一化顺序。[R1] ↗ 查看大图 ↗
我的原话
KV怎么分 一个是自己的值 一个是自己携带什么
T2-M73 · 2026-10-12 · 原对话 ↗
我的原话(节选)
2是询问注意力 3是数值归一 4是加入自己本身带的信息 5是混合所有头的特征 对吗 那mask的部分在哪
T-M55 · 2026-10-09 · 原对话 ↗

原 AI 解释 · 摘要

T2-M74 用查询、可匹配的标签和承载的内容区分 Q、K、V;T-M56、64 解释:乘 V 是按权重聚合可见位置的信息,残差连接是另外一条相加路径。

整理核对

在标准自注意力里,Q、K、V 来自当前层表示的不同线性投影。先用 Q 与 K 算相关分数,再结合缩放与 mask 做 softmax,最后加权求和 V。聚合范围可包含当前位置,取决于 mask。把原输入加回输出的残差操作要另画,不能藏进“乘 V”里。[R1] ↗

当时的通透感,保留但不夸大

T2-M75 中,你引用了上一条回答的“苹果标签”类比,并回复“太透彻了 不用回复”。那段类比属于原 AI 的文字;你的反馈说明它帮助了当时理解,不能把整段都署成你的原创。

仍需要的一步 · 整理者建议

用三个 token、一个头算一次分数、mask、softmax 和加权和;再单独画出残差。只有把两条信息路径分开,类比才不会替代机制。

核对来源 · 1 项

技术核对:2026-10-16。个人学习记录只代表原对话当时的范围。

关于这篇笔记,留下一个问题 →