预训练:先建立可被继续改善的能力
原作者的实现与实验结果 · 我的追问和理解变化见引文
主实验用程序生成的 Python 小函数训练下一字节预测。样本包含任务注释、随机函数名、签名与参考函数体,覆盖加一、加倍、平方、绝对值、非负截断、判偶、反转字符串和列表求和八类操作。它是明确限定的数据分布。
这个小项目预训练参数是多少 不会就八段函数吧P2-M113 · 2026-10-09 · 原对话 ↗
从我的问题出发 · 八类操作不等于八条样本
我先质疑数据量,之后又追问数据是否带 prompt 和答案。这里生成的是八类操作的许多函数实例,函数名和具体样本会变化;“八类任务”“训练 token 数”“更新步数”是不同计数。数据内容决定能学到什么,实验步骤决定如何观察这种学习。[C1] ↗
| 预训练步数 | 开发集解出任务 | 说明 |
|---|---|---|
| 0 | 0/8 | 随机初始化 |
| 100 | 2/8 | 选作后续 RL 起点 |
| 200 | 7/8 | 继续学习 |
| 400 | 8/8 | 在这 8 个开发任务上达到满分 |
哦是为了验证RL这个线P2-M141 · 2026-10-10 · 原对话 ↗
我的理解如何落到实验上
“哦是为了验证 RL 这个线”出现在我问完“预训练就练了一百步?”之后。整理时把这句话放回选检查点的设计:作者实际训练到 400 步,但选择仍有改善空间的第 100 步作为后训练起点;这不是把整个预训练过程缩成 100 步。[C1] ↗
为什么选第 100 步
第 100 步已表现出一定代码能力,同时仍有改善空间;选择依据是开发集。不是因为 100 步普遍足够,也不是因为预训练越少越好。视觉完整模型试验和代码 RL 都有来自这个检查点的支线,不是“先练视觉再做代码 RL”的必然串行流程。
数据格式与训练范式
样本包含任务和参考函数体,不自动等于“以后永远不用 SFT”。本实验可以研究直接使用可执行奖励的效果,但不能从这个小任务推导所有模型都应跳过监督后训练。
这样组织就是刚好不用sft了对吧P2-M119 · 2026-10-09 · 原对话 ↗
原 AI 解释摘要 · 关于为何跳过 SFT
原对话后来把原因概括为“任务可验证所以不用 SFT”(P2-M120、M134)。这个说法帮助区分数据格式和奖励来源,但把一种实验选择说成了普遍规则。
整理核对 · 可验证奖励允许直接探索 RL,不自动排除 SFT
这个仓库选择先预训练再研究 RLOO,预训练已提供任务注释与代码格式。SFT 是否需要,还取决于初始策略能力、数据与实验目标;不能由“代码能判对错”直接推出所有代码模型都不需要 SFT。此处保留原猜想,并把现在的核对与我当时是否已接受分开记录。[C1] ↗
补充实验教会的另一件事
仓库还用独立的 248,412 参数小模型研究数据多样性和顺序:200 步时,88 个多样结构比 8 个重复结构的目标字节准确率高 3.2 个百分点;相同数据交错比按任务成块高约 9.7 点。先少后多的课程安排相对一开始使用多样数据未显示可靠增益。这组任务的完整表达式准确率仍为 0%,不能把字节分数提升写成“已会解题”。
作者报告数据:[C1] ↗ REPORT.md;[C4] ↗ 数据多样性与课程顺序报告。两组模型规模、任务与指标均不同;本次整理未重新训练。
继续聊聊
留一个想法,或一个问题
这里的留言公开可见。欢迎分享你的理解,也可以指出值得修正的地方。
项目的留言
正在读取留言…