KV怎么分 一个是自己的值 一个是自己携带什么T2-M73 · 2026-10-12 · 原对话 ↗
2是询问注意力 3是数值归一 4是加入自己本身带的信息 5是混合所有头的特征 对吗 那mask的部分在哪T-M55 · 2026-10-09 · 原对话 ↗
原 AI 解释 · 摘要
T2-M74 用查询、可匹配的标签和承载的内容区分 Q、K、V;T-M56、64 解释:乘 V 是按权重聚合可见位置的信息,残差连接是另外一条相加路径。
整理核对
在标准自注意力里,Q、K、V 来自当前层表示的不同线性投影。先用 Q 与 K 算相关分数,再结合缩放与 mask 做 softmax,最后加权求和 V。聚合范围可包含当前位置,取决于 mask。把原输入加回输出的残差操作要另画,不能藏进“乘 V”里。[R1] ↗
当时的通透感,保留但不夸大
T2-M75 中,你引用了上一条回答的“苹果标签”类比,并回复“太透彻了 不用回复”。那段类比属于原 AI 的文字;你的反馈说明它帮助了当时理解,不能把整段都署成你的原创。
仍需要的一步 · 整理者建议
用三个 token、一个头算一次分数、mask、softmax 和加权和;再单独画出残差。只有把两条信息路径分开,类比才不会替代机制。