我的 AI 学习地图V2 · 学习地图 · 2026.10
PROJECT 01 / GLM 教学模型

沿着一个小模型,把模块、训练和验证连起来。

第 2 / 8 章
CHAPTER 02 / 模型主干

主干结构:从字节到下一个字节

原作者的实现与实验结果 · 我的追问和理解变化见引文

教学项目完整视觉接入结构:视觉 token 与文本进入四残差流语言主干,四流读写包住整个 HybridBlock。
项目结构总图 · 先看语言主干,再看视觉如何接入。图中冻结范围和 263 词表属于完整视觉试验;语言预训练会更新全部主干,基础字节词表为 260。 查看大图 ↗

输入先按字节编码,经过嵌入得到序列表示;12 个混合模块进行信息处理,最后归一化并映射到词表。语言头与输入嵌入共享权重。总参数为 25,730,592;报告估算每 token 激活参数约 9.8M,这不是实测运算量。

我的原话 · 当时的追问
为什么这么做 以后回答的时候和传统transformer进行比较 更清晰一点
P2-M99 · 2026-10-08 · 原对话 ↗
我的原话 · 当时的追问
也就是后面的每一层还会学出来 怎么分这四条流能得到更好的结果 那模型是怎么做的呢
P2-M101 · 2026-10-08 · 原对话 ↗

从我的问题出发 · 四条流到底是谁在分配?

我的追问从“和传统 Transformer 比较”走到“后面的每层怎样学会分流”。按 model.py 核对:每层有可训练的读入、写回权重;softmax 后先把四流加权为一个表示,交给整个 HybridBlock,再将模块输出按权重加回四流。这些路由权重随训练更新,当前实现没有为每个 token 动态生成一套四流权重。[C6] ↗

模块代码中实际采用的设计理解价值
注意力每 4 层中 3 层正特征线性注意力、1 层局部窗口加跨距锚点的稀疏注意力比较累计状态与选位置计算
MoE8 个路由专家选 top-2,加 1 个始终参与的共享专家总参数与每次激活范围不同
四流连接4 条残差流混合后进入整个 HybridBlock,再把输出按权重加回各流辨认连接拓扑与单流残差
块内处理RMSNorm → 注意力及残差;RMSNorm → MoE 及残差归一化、交互、特征变换各有位置

两个容易画错的地方

线性注意力代码包含归一化分母,不能只画 Q 乘累计 KV。四流混合包住的是整个 HybridBlock;不应未经核对就给注意力和 MoE 各画一套独立多流读写。

机制范围

线性注意力用 ELU+1 特征与前缀累计;稀疏注意力确实收集选中的位置再计算。它们以及四流连接均为教学简化,不是 KDA、DSA、IndexPool 或 mHC 的逐项等价实现。

我的原话 · 我发现自己混淆的概念
对我把线性注意力和线性层搞混了 那LMhead叫什么 不是线性吗
P1-M65 · 2026-10-08 · 原对话 ↗

整理核对 · 这让我怎样重新看项目的“线性”

这句原话明确记录了我把线性层与线性注意力混在一起。LM Head 是把隐藏表示投影到词表的线性层;本项目的线性注意力则通过正特征与前缀累计计算注意力,还带归一化分母。它也不是稀疏注意力:第 4、8、12 层才按选定位置进行稀疏计算。这里分别对照运算、层的位置和张量形状,不能只认模块名称。[C6] ↗

代码证据:[C1] ↗ glm53_flash/model.py;报告 REPORT.md。参数、层数、路由与连接方式已逐项对照。

核对来源 · 2 项

技术核对:2026-10-16。个人学习记录只代表原对话当时的范围。

继续聊聊

留一个想法,或一个问题

03 · 项目

这里的留言公开可见。欢迎分享你的理解,也可以指出值得修正的地方。

正在分配你的访客编号…

同一浏览器在本站共用一个编号;清除网站数据后会重新分配。

0 / 1000

项目的留言

正在读取留言…