我的 AI 学习地图V2 · 学习地图 · 2026.10
PROJECT 01 / GLM 教学模型

沿着一个小模型,把模块、训练和验证连起来。

第 6 / 8 章
CHAPTER 06 / 结果与分母

结果:先写清分母,再写提升

原作者的实现与实验结果 · 我的追问和理解变化见引文

我的原话 · 当时的追问
这不就是选多少step的checkpoint最好吗 但是他横坐标我觉得是batch啊
P3-M227 · 2026-10-14 · 原对话 ↗
我的原话 · 当时的追问
这个测试是什么时候跑的
P3-M233 · 2026-10-14 · 原对话 ↗

从我的问题出发 · 先认清测试发生在哪一段

我追问的是“这是不是在选 checkpoint”以及“这个测试什么时候跑”。整理后将三个用途分开:训练测试提供奖励;dev 评估选择训练时长;最终确认集在选定后检验结果。对话 AI 曾把每个 group 错说成 96×16 次生成,也混淆采样成功率和 pass@8。下面以作者记录重新写清每一个分母,而不是沿用课件或对话中的标签。[C1] ↗

最终确认指标RL 前RL 后统计单位
贪心解出任务0/2416/2424 个任务,各一次
采样程序全部过测试13/19288/19224 题,各 8 次生成
8 次中至少一次成功9/2419/24按任务统计 pass@8

这三行不能混用

采样程序成功率从约 6.8% 到 45.8%,提升约 39.1 个百分点;pass@8 则从 37.5% 到约 79.2%,提升约 41.7 点。P3-M230 把两者的解释混用,本次整理按报告分开。

操作家族采样成功数:前 → 后是否属于本次 RL 训练
increment6/64 → 40/64是
double4/64 → 45/64是
even3/64 → 3/64是
square52/64 → 37/64否
list_sum61/64 → 56/64否

有进步,也有干扰

加一和加倍变得更可靠,判偶没有改善,两个非目标家族退化。这些家族都曾出现在预训练中,因此“未做本次 RL”不能写成“从来没训练过”。这支持窄范围策略改善,并不证明普遍编程能力提升。

证据的边界

确认集未用于训练或检查点选择,是本设计的优点;但它仍来自熟悉的操作家族和模板。主实验只有一个最终训练种子,不能据此保证换种子或换任务分布仍有同样增益。报告给出的显著性与区间也受这个抽样范围约束。

全部数字引自作者 REPORT.md [C1] ↗。未在本次整理运行训练或复算完整原始实验;本次整理核对了指标算术与归属。

核对来源 · 1 项

技术核对:2026-10-16。个人学习记录只代表原对话当时的范围。

继续聊聊

留一个想法,或一个问题

03 · 项目

这里的留言公开可见。欢迎分享你的理解,也可以指出值得修正的地方。

正在分配你的访客编号…

同一浏览器在本站共用一个编号;清除网站数据后会重新分配。

0 / 1000

项目的留言

正在读取留言…