我的 AI 学习地图V2 · 学习地图 · 2026.10
← 返回Transformer

NOTE 06 / Transformer

多头不是预先分配好的岗位

每个头并不是人工指定的语法专家或语义专家。

个人学习记录 · 原始对话见引文 · 整理核对于 2026-10-16
我的原话
但其实头与头之间也没有明确分那个就是负责那个 都是共同的
T-M25 · 2026-10-08 · 原对话 ↗
我的原话
我矩阵功底不好 你再讲一下reshape和之后的矩阵乘法
T-M33 · 2026-10-08 · 原对话 ↗

原 AI 解释 · 摘要

T-M26 承认“某个头专管语法、另一个专管语义”只是直觉例子,不是人工分工。后续讨论通过 reshape 和矩阵乘法解释头维度。

整理核对

以标准 Transformer 为例,每个头的投影都能接收该位置的完整输入特征;先投影到多组较小的表示,再按头计算注意力。reshape 负责组织张量维度,本身不会创造语义分工。各头在共同训练中可能形成不同偏好,也可能冗余。[R1] ↗

一个形状对照

输入 [B,T,D];投影并分头后为 [B,H,T,d];每头注意力分数为 [B,H,T,T];聚合后拼回 [B,T,H×d],再经过输出投影。常用设置 H×d=D,但不应把所有变体都强制成这组等式。

把两个“顺序”分开

位置编码或 RoPE 提供顺序相关信息;因果 mask 限制哪些位置可以被看见。模型知道位置,不代表它被允许读取未来。T-M53 对预测位置的追问正好落在这个交界处。

继续追问 · 整理者建议

以后看 GQA、MQA 或多模态注意力,先确认 Q 头数与 KV 头数、mask 和位置处理方式,再判断它与熟悉的多头注意力差在哪里。

核对来源 · 1 项

技术核对:2026-10-16。个人学习记录只代表原对话当时的范围。

关于这篇笔记,留下一个问题 →