沿着一个微型模型,读完整个训练流程
这项学习围绕一个从随机初始化出发的小型语言模型展开。它把混合注意力、MoE、预训练、视觉接入和可执行奖励放在同一个可检查的仓库中。我的关注点是模块怎样连接、训练信号从哪里来,以及一个结果究竟能支持多大的结论。
本地部署很简单,但是我想通过这个小项目学习 应该怎么学呢P2-M3 · 2026-10-06 · 原对话 ↗
把这个都搞定后,再去补齐模型进化到VLA WAM的知识 这个路线合理吗P2-M9 · 2026-10-06 · 原对话 ↗
在知识主线上的位置
主要对应 Transformer、MoE、视觉表示与多模态连接、可验证奖励后训练。依赖反向传播、位置表示和基础语言建模。本案例聚焦这组局部机制,不声称覆盖整个具身控制或世界模型方向。
怎样读这份项目记录
蓝色引文保留我在讨论项目时的追问和后续表述;紫色部分概括原 AI 回答;暖色部分给出代码与报告核对后的修正。模型和实验来自原作者仓库,环境部署记录来自我自己的终端与对话;作者跑分不记作我的复现成绩。
版本与命名边界
核对版本为本地 Git 提交 96d9c7c3bf85。仓库名称表达启发来源;其缩小实现不能当作商业模型完整复现,也不能用于证明商业模型的精确内部结构。
主要节点:Transformer、MoE、ViT、LLaVA、InstructGPT、DeepSeek-R1。来源:[C1] ↗;个人材料 P1、P2、X1、P3。
继续聊聊
留一个想法,或一个问题
这里的留言公开可见。欢迎分享你的理解,也可以指出值得修正的地方。
项目的留言
正在读取留言…