对我把线性注意力和线性层搞混了 那LMhead叫什么 不是线性吗P1-M65 · 2026-10-08 · 原对话 ↗
懂了因为他之前就是kv相乘的所以不用归一化×v 只需要q查询就好了P1-M133 · 2026-10-09 · 原对话 ↗
原 AI 解释 · 摘要
P1-M66 正确区分了普通线性映射和按序列长度讨论的线性注意力;但 M134 赞同“无需归一化”的说法,遗漏了具体实现里的归一化分母。
整理核对
线性层描述 y=xW+b 这类变换。线性注意力描述一种避免显式构造完整 T×T 注意力矩阵的方法族;常见正特征形式先累计 K、V 相关状态,再用 Q 查询,同时累计 K 来做归一化。没有 softmax 不等于没有归一化。[R8] ↗
另一处需要修正的连接
P1-M127、128 讨论稀疏层是否读取前层结果。堆叠网络里,下一层仍接收上一层的表示;它再由这些表示产生本层 Q、K、V,并选择位置计算注意力。不能写成“绕过前面层,重新读取完全原始的序列”。
保留直觉,撤掉过强结论
“压缩历史”和“选择位置”有助于区分机制,但不能据此断言线性注意力不使用信息、必须接稀疏层,或任何混合比例总是最好。具体是否有效需要匹配实验。
继续追问 · 整理者建议
下一次比较时同时列出:状态保存什么、查询怎样输出、是否归一化、mask 是什么、与标准 softmax 注意力是否等价。