我发现这个MLP经常被用做适配 投影 特征等方面P3-M273 · 2026-10-15 · 原对话 ↗
对我把线性注意力和线性层搞混了 那LMhead叫什么 不是线性吗P1-M65 · 2026-10-08 · 原对话 ↗
原 AI 解释 · 摘要
P3-M274 把 MLP 总结为一种可学习的变换模块,列举了特征变换、投影和输出等用途。这个观察有助于复用知识,但其中把 LoRA 直接列作 MLP 不准确。
整理核对
MLP 通常由线性或仿射变换与非线性组成。放在 Transformer 中可逐位置变换特征,放在多模态连接处可适配视觉表示,放在任务末端可映射到输出。相同的模块类型,不代表参数、输入意义和训练目标相同。
| 名称 | 应怎样区分 |
|---|---|
| 线性投影 | 可以只有一次线性映射;不必带非线性 |
| MLP / FFN | 多层变换并引入非线性,具体结构依版本而定 |
| 标准 LoRA | 用低秩矩阵乘积 ΔW=BA 表示权重增量;本身不要求激活函数 |
| 视觉连接器 | 是一种角色,可由线性层、MLP 或其他结构实现 |
不止“把尺寸凑齐”
维度匹配让模块能连接;训练还需要让这些表示对下游任务有用。一个投影层本身不能代替视觉编码、跨模态训练与语言模型处理。[R3] ↗[R6] ↗
当前结尾 · 整理表述
现在我希望遇到新模块时,先看它接收什么、输出什么、在哪个目标下训练,再判断它沿用了熟悉的哪一种计算。剩下的理解,继续用原话和修正记录下来。