代码 RL:一次尝试怎样变成学习信号
原作者的实现与实验结果 · 我的追问和理解变化见引文
训练给出任务注释和函数签名,模型采样函数体;验证器先检查受限语法,再运行三个输入输出测试。全部通过得 1,能运行但答错得 0,无效源码得 -0.1。没有参考函数体参与 RL 目标,但验证器仍依赖预设输入与期望输出。
等一下等一下 为什么要用采样 我们的目的不就是要生成最高的吗 你随机采样一个低的有啥用P3-M239 · 2026-10-14 · 原对话 ↗
也就是我们只有验证器 验证器相当于是个规则 模型生成16次 有好的有坏的 向好的学 采样就是生成 我误会了 他不是在模型的最后生成答案的阶段 模型生成答案确实就是选概率最大的 两个维度的词P3-M243 · 2026-10-14 · 原对话 ↗
原 AI 解释摘要 · 把训练采样与使用模型分开
当时的回答强调用多次尝试形成相对反馈,但也说“只生成一个不知道好坏”以及“推理就是选最大概率”(P3-M240、M244)。这些绝对表述不准确,不能把我的后续复述直接当作正确结论。
整理核对 · 想通了“采样也是生成”,还要改正两个地方
验证器能判断单次生成的奖励;本项目选用 RLOO,才需要同题多次采样来估计留一基线。推理也可以采样,贪心只是解码方式之一,并不保证整段代码最优。我的“验证器给反馈,向好的学”抓住了循环;应当保留的下一步是区分生成策略、奖励和参数更新。[C1] ↗ [R7] ↗
| 计数或设置 | 本次主实验的准确含义 |
|---|---|
| 1 个 group | 1 个 prompt 的 16 次完整生成 |
| 96 个 group | 整次运行的 96 个不同 prompt,来自 3 类操作 |
| 1,536 次生成 | 96×16,整个训练运行的总量 |
| 73 次有效更新 | 73 组奖励有差异;其余组未产生该更新 |
| 训练范围 | 最后一个混合块、最终 norm、共享嵌入 / 输出头,共 2,190,152 参数 |
为什么需要优势
RLOO 用某次奖励减去其余同题样本的平均奖励,获得相对信号。模型提高表现较好尝试的概率、压低相对较差尝试的概率。这里无需另训练 critic;实现还对生成长度做了评分归一化,不能把简化公式当作所有策略梯度的完整代码。
纠正对话与课件中的计数混淆
96×16 不是每一个 group 都生成 1,536 次。报告中的开发曲线每个检查点是 96 次采样评估,最终确认阶段则是 24 题×8 次。若课件文字把 1,536 写成开发集程序数,应以报告和训练记录重新核对后改正。
这个验证器能保证什么
它对限定代码子集提供可执行的反馈;通过三个测试不等于代码在所有输入上都正确,也不等于模型“真正理解”全部任务。其 AST 限制不应被宣传为可运行任意不可信代码的通用安全沙箱。
代码与报告:[C1] ↗ scripts/train_rl.py、glm53_flash/runtime.py、REPORT.md;RLOO 原理:[R7] ↗。
核对来源 · 2 项
技术核对:2026-10-16。个人学习记录只代表原对话当时的范围。
继续聊聊
留一个想法,或一个问题
这里的留言公开可见。欢迎分享你的理解,也可以指出值得修正的地方。
项目的留言
正在读取留言…