视觉支线:先接通,再比较
原作者的实现与实验结果 · 我的追问和理解变化见引文
视觉路径把一张 RGB 图像转成语言模型能接收的表示:4×4 patch 得到 64 个视觉 token,经两层视觉 Transformer 处理,再按 2×2 空间合并为 16 个 token,经过投影后替换文本序列中的图像占位表示。训练只对答案部分计算交叉熵。
那GLM读图能力就是这样用的一个投影层吗P3-M271 · 2026-10-15 · 原对话 ↗
我发现这个MLP经常被用做适配 投影 特征等方面P3-M273 · 2026-10-15 · 原对话 ↗
原 AI 解释摘要 · 投影层像“翻译器”
收尾对话用“视觉编码器 + 投影层 + 语言模型”解释连接,又将 MLP 类比为通用适配器(P3-M272、M274)。其中还把本教学主干误称为密集模型;实际主干包含 MoE。[C6] ↗
整理核对 · 能连接,还要靠什么学会使用?
这两句原话说明,我开始从单个项目识别可复用模块。落到这个项目,投影负责可训练的表示变换;维度相同只保证能送进主干,答案位置的监督和梯度才让视觉表示学会服务任务。视觉能力来自编码器、连接模块、语言主干与数据目标共同作用,不能全部归功于一个投影层;不同适配结构也没有脱离任务的固定优劣排序。[C3] ↗
| 实验 | 模型 / 预算 | 报告结果 |
|---|---|---|
| 微型结构对照 | 60,924 参数结构版;120 步,4,800 张训练图 | 119/200 = 59.5% |
| 同设置简化基线 | 42,500 参数 direct-patch;同数据与步数 | 189/200 = 94.5% |
| 完整主干接入 | 25.88M 总参数;40 步,400 张图 | 0/100 → 40/100 |
两个实验各回答一个问题
微型对照在同一短训练预算下比较两条视觉路径;更复杂的结构没有在这次实验中占优。完整主干试验把视觉 token 送入 12 层语言模型,证明这一条接入路径在合成任务上可学习。二者不能共享同一套冻结范围或评价结论。
完整主干里,冻结不等于跳过
完整接入试验训练视觉编码器、最后一个语言块、最终归一化和共享嵌入 / 输出矩阵;前 11 个语言块冻结权重,但仍参与前向与对视觉输入的梯度传递。报告可训练参数为 2,335,136。
边界与负面结果
训练和评估都包含数字 0-9,留出的只是新渲染,而非新类别。两个试验均未保存可复用视觉检查点。一次合成数据、单个种子的结果不足以证明 direct-patch 普遍更强,或模型具备一般读图能力。
作者报告数据:[C2] ↗ VISION_REPORT.md;[C3] ↗ FULL_25M_VISION_DIGIT_PILOT_REPORT.md。原对话 P3-M218 混入了不同试验的设置,本次整理已拆开。
核对来源 · 3 项
技术核对:2026-10-16。个人学习记录只代表原对话当时的范围。
继续聊聊
留一个想法,或一个问题
这里的留言公开可见。欢迎分享你的理解,也可以指出值得修正的地方。
项目的留言
正在读取留言…