我的 AI 学习地图V2 · 学习地图 · 2026.10
← 返回序列主干

NOTE 18 / 序列主干

Mamba:从状态更新理解另一种序列主干

先看架构,再用我追问卷积与扫描的过程辨认数据依赖。

个人学习记录 · 原始对话见引文 · 整理核对于 2026-10-20
这篇笔记的整理范围

依据 2026-10-20 收到的 TXT 导出整理。行号是归档文本坐标;原文没有角色标签和时间,按相邻问答区分发言。引用框逐字保留,节选明确标注;本次核对不代表我在当时已接受或掌握。

Mamba-1 框架:整体语言模型、单个残差块及选择性状态更新。状态分支经因果卷积与 SSM,与旁路 SiLU 门控相乘,投影后加回输入。
先看整体,再读下面的原话与修正。上层是语言模型,中层展开单个 Mamba 块,下层解释状态更新。基于原论文与固定版本官方实现的说明性重绘;点击图片可打开矢量大图放大查看。[R113] ↗ [R114] ↗ 查看大图 ↗

M735–989 与 M1865–2065:你询问 RNN 为什么快,猜 Mamba 像线性层和稀疏层结合,随后继续要求具体架构。

我的原话 · 对速度与记忆的原始解释(前面的 AI 引文不计入本人原话)(节选)
我理解记性差 因为堆的层数太多信息就少了 但为啥快啊
对话文本 M · L735 · 原对话日期未提供 · 2026-10-20 归档
我的原话 · 主动提出类比
感觉像 线性层和稀疏层的结合啊
对话文本 M · L852 · 原对话日期未提供 · 2026-10-20 归档
我的原话 · 尝试把类比放进技术关系
mamba和线性稀疏层谁前谁后
对话文本 M · L935 · 原对话日期未提供 · 2026-10-20 归档

原 AI 解释 · 当时回答摘要

原 AI 迎合“线性+稀疏”的说法,把选择性说成跳过废词的稀疏计算;还把训练显存恒定、信息绝不遗漏和总是更快当成保证。

整理核对与修正

Mamba-1 的关键是输入相关的 Δ、B、C 控制状态更新/读出,加上高效扫描。它不是线性注意力与稀疏注意力的拼接。选择性一般仍计算各位置,也不等于二值开关。固定模型下,自回归推理缓存可不随历史长度增长;整段训练仍有随 T 增长的激活与计算。有限状态的压缩有取舍,具体速度取决于实现、硬件及任务。 [R113] ↗ [R114] ↗ [R130] ↗

整理者观察 · 理解怎样变化

你提出了结构类比,但原 AI 直接盖章的部分不能算成你的正确结论。后续“SSM递归呗”放在 N10 展示理解如何进一步落到状态更新。

继续追问

哪些信息会因压缩而难以精确取回?短序列实际速度是否有优势?这需要实验,不能从 O(T) 直接推出。

把模块放回原始 Mamba 架构

输入经投影分成状态分支和门控分支。状态分支先用因果卷积处理局部历史,再进入选择性 SSM;两路逐元素相乘后投影回模型维度,并配合残差连接。Δ、B、C 随输入变化,负责怎样写入与读出;这些符号不是 batch 维度 B。[R113] ↗ [R114] ↗

我怎样发现卷积例子里的依赖错误

M2074–3804:你先问并行在哪个维度,要求实际过一遍;AI 给卷积例子时错误地把第二步输出当成第三步输入,随后试图用工程并行解释。

我的原话 · 先定位并行维度
是在B上的并行吗
对话文本 M · L2074 · 原对话日期未提供 · 2026-10-20 归档
我的原话 · 从滑窗图像提出疑问
回到架构 一维卷积不是一个一个弄的吗
对话文本 M · L2927 · 原对话日期未提供 · 2026-10-20 归档
我的原话 · 第一次识别依赖冲突
你看这不还是串行吗
对话文本 M · L3286 · 原对话日期未提供 · 2026-10-20 归档
我的原话 · 贴出错误数值之后,再次指出问题(节选)
你这不就是用的2的结果吗 不是原始数据啊
对话文本 M · L3598 · 原对话日期未提供 · 2026-10-20 归档

原 AI 解释 · 当时回答摘要

M3107 / 3285 的例子用了上一位置的卷积结果。M3295 声称“实际用原始输入”,但未修正数值。你在 M3598 先粘贴该式 [1,1,1,1]+0.1*[0.1,1,0.1,1]=[1.01,1.1,1.01,1.1],再质疑它;前面的 AI 算式未计入本人原话。第二次追问后,AI 才承认例子错了。

整理核对与修正

该示例的正确形式是 y_t=x_t+0.1x_(t-1)。x2=[0,1,0,1],所以 y3=[1,1,1,1]+0.1[0,1,0,1]=[1,1.1,1,1.1]。同一层所有 x 已知,因此不同输出位置可并行。若用 y_(t-1),就改变了计算关系。GPU 核心数不会凭空取消依赖;也不是所有卷积实现都必须显式 im2col。 [R111] ↗ [R114] ↗

整理者观察 · 理解怎样变化

这一修正由你主动提出且有可核对的数值依据,适合把原话直接放在卡片首屏。原 AI 后续赞美不纳入笔记证据。

继续追问

输入序列已知时的卷积并行,与生成下一个未知 token 时仍要逐步生成,要分开看。

再往下:递推为什么可以用扫描组织计算

M3806–4960:你追问算法如何实现,借两两合并理解 log,再尝试用“套一层”描述。原 AI 后来把前缀扫描混成逆运算和反向传播。

我的原话 · 用自己的词压缩机制
SSM递归呗
对话文本 M · L3806 · 原对话日期未提供 · 2026-10-20 归档
我的原话 · 不满足于比喻,追到算法
算法怎么做到的 能检查出来
对话文本 M · L3983 · 原对话日期未提供 · 2026-10-20 归档
我的原话 · 自己的 log 直觉
懂了 2个更新数点 次方的逆运算 log
对话文本 M · L4612 · 原对话日期未提供 · 2026-10-20 归档
我的原话 · 仍需核对的组合直觉
相当于在合并的时候再套一层运算 随后套的就是第一个 参与套的最多的 就是最后一个
对话文本 M · L4775 · 原对话日期未提供 · 2026-10-20 归档

原 AI 解释 · 当时回答摘要

原 AI 一度只画出最终总和的树,没解释所有前缀;又把 down-sweep 描述成剥离末项、等同反向传播,并许诺百万词 20 步不到毫秒。

整理核对与修正

把 h_t=a_t h_(t-1)+b_t 记成变换 (a_t,b_t)。先做左段再做右段,合成是 (a_R a_L, a_R b_L+b_R),有结合律但通常不可交换。扫描要返回每个前缀,归约只要总结果。存在 O(T) 总工作量、O(log T) 并行深度的扫描;真实 GPU 时间还有核心、访存、分块与同步成本。down-sweep 传播前缀,不是倒推求逆或自动微分。 [R113] ↗ [R115] ↗

整理者观察 · 理解怎样变化

“log”原话可以保留为当时的直觉;“套”的一句有方向歧义,不能替你改成已经准确描述 CUDA。建议与本次小例子并排,由你决定保留方式。

继续追问

用输入 [1,2,3,4]、a=0.5 复核四个前缀 [1,2.5,4.25,6.125];再用不等 a_t 验证不能交换时间顺序。

核对来源 · 5 项

技术核对:2026-10-20。个人学习记录只代表原对话当时的范围。

关于这篇笔记,留下一个问题 →