我的 AI 学习地图V2 · 学习地图 · 2026.10
← 返回Transformer

NOTE 08 / Transformer

线性层、线性注意力、稀疏注意力

同一个“线性”,指变换形式,还是序列计算的规模?

个人学习记录 · 原始对话见引文 · 整理核对于 2026-10-16
我的原话
对我把线性注意力和线性层搞混了 那LMhead叫什么 不是线性吗
P1-M65 · 2026-10-08 · 原对话 ↗
我的原话
懂了因为他之前就是kv相乘的所以不用归一化×v 只需要q查询就好了
P1-M133 · 2026-10-09 · 原对话 ↗

原 AI 解释 · 摘要

P1-M66 正确区分了普通线性映射和按序列长度讨论的线性注意力;但 M134 赞同“无需归一化”的说法,遗漏了具体实现里的归一化分母。

整理核对

线性层描述 y=xW+b 这类变换。线性注意力描述一种避免显式构造完整 T×T 注意力矩阵的方法族;常见正特征形式先累计 K、V 相关状态,再用 Q 查询,同时累计 K 来做归一化。没有 softmax 不等于没有归一化。[R8] ↗

另一处需要修正的连接

P1-M127、128 讨论稀疏层是否读取前层结果。堆叠网络里,下一层仍接收上一层的表示;它再由这些表示产生本层 Q、K、V,并选择位置计算注意力。不能写成“绕过前面层,重新读取完全原始的序列”。

保留直觉,撤掉过强结论

“压缩历史”和“选择位置”有助于区分机制,但不能据此断言线性注意力不使用信息、必须接稀疏层,或任何混合比例总是最好。具体是否有效需要匹配实验。

继续追问 · 整理者建议

下一次比较时同时列出:状态保存什么、查询怎样输出、是否归一化、mask 是什么、与标准 softmax 注意力是否等价。

核对来源 · 1 项

技术核对:2026-10-16。个人学习记录只代表原对话当时的范围。

关于这篇笔记,留下一个问题 →