我的 AI 学习地图V2 · 学习地图 · 2026.10
PROJECT 01 / GLM 教学模型

沿着一个小模型,把模块、训练和验证连起来。

第 5 / 8 章
CHAPTER 05 / 代码 RL

代码 RL:一次尝试怎样变成学习信号

原作者的实现与实验结果 · 我的追问和理解变化见引文

训练给出任务注释和函数签名,模型采样函数体;验证器先检查受限语法,再运行三个输入输出测试。全部通过得 1,能运行但答错得 0,无效源码得 -0.1。没有参考函数体参与 RL 目标,但验证器仍依赖预设输入与期望输出。

我的原话 · 当时的追问
等一下等一下 为什么要用采样 我们的目的不就是要生成最高的吗 你随机采样一个低的有啥用
P3-M239 · 2026-10-14 · 原对话 ↗
我的原话 · 当时的后续表述(仍含待修正部分)
也就是我们只有验证器 验证器相当于是个规则 模型生成16次 有好的有坏的 向好的学 采样就是生成 我误会了 他不是在模型的最后生成答案的阶段 模型生成答案确实就是选概率最大的 两个维度的词
P3-M243 · 2026-10-14 · 原对话 ↗

原 AI 解释摘要 · 把训练采样与使用模型分开

当时的回答强调用多次尝试形成相对反馈,但也说“只生成一个不知道好坏”以及“推理就是选最大概率”(P3-M240、M244)。这些绝对表述不准确,不能把我的后续复述直接当作正确结论。

整理核对 · 想通了“采样也是生成”,还要改正两个地方

验证器能判断单次生成的奖励;本项目选用 RLOO,才需要同题多次采样来估计留一基线。推理也可以采样,贪心只是解码方式之一,并不保证整段代码最优。我的“验证器给反馈,向好的学”抓住了循环;应当保留的下一步是区分生成策略、奖励和参数更新。[C1] ↗ [R7] ↗

计数或设置本次主实验的准确含义
1 个 group1 个 prompt 的 16 次完整生成
96 个 group整次运行的 96 个不同 prompt,来自 3 类操作
1,536 次生成96×16,整个训练运行的总量
73 次有效更新73 组奖励有差异;其余组未产生该更新
训练范围最后一个混合块、最终 norm、共享嵌入 / 输出头,共 2,190,152 参数

为什么需要优势

RLOO 用某次奖励减去其余同题样本的平均奖励,获得相对信号。模型提高表现较好尝试的概率、压低相对较差尝试的概率。这里无需另训练 critic;实现还对生成长度做了评分归一化,不能把简化公式当作所有策略梯度的完整代码。

纠正对话与课件中的计数混淆

96×16 不是每一个 group 都生成 1,536 次。报告中的开发曲线每个检查点是 96 次采样评估,最终确认阶段则是 24 题×8 次。若课件文字把 1,536 写成开发集程序数,应以报告和训练记录重新核对后改正。

这个验证器能保证什么

它对限定代码子集提供可执行的反馈;通过三个测试不等于代码在所有输入上都正确,也不等于模型“真正理解”全部任务。其 AST 限制不应被宣传为可运行任意不可信代码的通用安全沙箱。

代码与报告:[C1] ↗ scripts/train_rl.py、glm53_flash/runtime.py、REPORT.md;RLOO 原理:[R7] ↗。

核对来源 · 2 项

技术核对:2026-10-16。个人学习记录只代表原对话当时的范围。

继续聊聊

留一个想法,或一个问题

03 · 项目

这里的留言公开可见。欢迎分享你的理解,也可以指出值得修正的地方。

正在分配你的访客编号…

同一浏览器在本站共用一个编号;清除网站数据后会重新分配。

0 / 1000

项目的留言

正在读取留言…