我的 AI 学习地图V2 · 学习地图 · 2026.10
← 返回学习与验证

NOTE 14 / 学习与验证

MLP 为什么到处都出现

复用的是模块类型,输入意义与训练目标仍需逐一确认。

个人学习记录 · 原始对话见引文 · 整理核对于 2026-10-16
我的原话
我发现这个MLP经常被用做适配 投影 特征等方面
P3-M273 · 2026-10-15 · 原对话 ↗
我的原话
对我把线性注意力和线性层搞混了 那LMhead叫什么 不是线性吗
P1-M65 · 2026-10-08 · 原对话 ↗

原 AI 解释 · 摘要

P3-M274 把 MLP 总结为一种可学习的变换模块,列举了特征变换、投影和输出等用途。这个观察有助于复用知识,但其中把 LoRA 直接列作 MLP 不准确。

整理核对

MLP 通常由线性或仿射变换与非线性组成。放在 Transformer 中可逐位置变换特征,放在多模态连接处可适配视觉表示,放在任务末端可映射到输出。相同的模块类型,不代表参数、输入意义和训练目标相同。

名称应怎样区分
线性投影可以只有一次线性映射;不必带非线性
MLP / FFN多层变换并引入非线性,具体结构依版本而定
标准 LoRA用低秩矩阵乘积 ΔW=BA 表示权重增量;本身不要求激活函数
视觉连接器是一种角色,可由线性层、MLP 或其他结构实现

不止“把尺寸凑齐”

维度匹配让模块能连接;训练还需要让这些表示对下游任务有用。一个投影层本身不能代替视觉编码、跨模态训练与语言模型处理。[R3] ↗[R6] ↗

当前结尾 · 整理表述

现在我希望遇到新模块时,先看它接收什么、输出什么、在哪个目标下训练,再判断它沿用了熟悉的哪一种计算。剩下的理解,继续用原话和修正记录下来。

核对来源 · 2 项

技术核对:2026-10-16。个人学习记录只代表原对话当时的范围。

关于这篇笔记,留下一个问题 →