主干结构:从字节到下一个字节
原作者的实现与实验结果 · 我的追问和理解变化见引文
输入先按字节编码,经过嵌入得到序列表示;12 个混合模块进行信息处理,最后归一化并映射到词表。语言头与输入嵌入共享权重。总参数为 25,730,592;报告估算每 token 激活参数约 9.8M,这不是实测运算量。
为什么这么做 以后回答的时候和传统transformer进行比较 更清晰一点P2-M99 · 2026-10-08 · 原对话 ↗
也就是后面的每一层还会学出来 怎么分这四条流能得到更好的结果 那模型是怎么做的呢P2-M101 · 2026-10-08 · 原对话 ↗
从我的问题出发 · 四条流到底是谁在分配?
我的追问从“和传统 Transformer 比较”走到“后面的每层怎样学会分流”。按 model.py 核对:每层有可训练的读入、写回权重;softmax 后先把四流加权为一个表示,交给整个 HybridBlock,再将模块输出按权重加回四流。这些路由权重随训练更新,当前实现没有为每个 token 动态生成一套四流权重。[C6] ↗
| 模块 | 代码中实际采用的设计 | 理解价值 |
|---|---|---|
| 注意力 | 每 4 层中 3 层正特征线性注意力、1 层局部窗口加跨距锚点的稀疏注意力 | 比较累计状态与选位置计算 |
| MoE | 8 个路由专家选 top-2,加 1 个始终参与的共享专家 | 总参数与每次激活范围不同 |
| 四流连接 | 4 条残差流混合后进入整个 HybridBlock,再把输出按权重加回各流 | 辨认连接拓扑与单流残差 |
| 块内处理 | RMSNorm → 注意力及残差;RMSNorm → MoE 及残差 | 归一化、交互、特征变换各有位置 |
两个容易画错的地方
线性注意力代码包含归一化分母,不能只画 Q 乘累计 KV。四流混合包住的是整个 HybridBlock;不应未经核对就给注意力和 MoE 各画一套独立多流读写。
机制范围
线性注意力用 ELU+1 特征与前缀累计;稀疏注意力确实收集选中的位置再计算。它们以及四流连接均为教学简化,不是 KDA、DSA、IndexPool 或 mHC 的逐项等价实现。
对我把线性注意力和线性层搞混了 那LMhead叫什么 不是线性吗P1-M65 · 2026-10-08 · 原对话 ↗
整理核对 · 这让我怎样重新看项目的“线性”
这句原话明确记录了我把线性层与线性注意力混在一起。LM Head 是把隐藏表示投影到词表的线性层;本项目的线性注意力则通过正特征与前缀累计计算注意力,还带归一化分母。它也不是稀疏注意力:第 4、8、12 层才按选定位置进行稀疏计算。这里分别对照运算、层的位置和张量形状,不能只认模块名称。[C6] ↗
代码证据:[C1] ↗ glm53_flash/model.py;报告 REPORT.md。参数、层数、路由与连接方式已逐项对照。
继续聊聊
留一个想法,或一个问题
这里的留言公开可见。欢迎分享你的理解,也可以指出值得修正的地方。
项目的留言
正在读取留言…