结果:先写清分母,再写提升
原作者的实现与实验结果 · 我的追问和理解变化见引文
这不就是选多少step的checkpoint最好吗 但是他横坐标我觉得是batch啊P3-M227 · 2026-10-14 · 原对话 ↗
这个测试是什么时候跑的P3-M233 · 2026-10-14 · 原对话 ↗
从我的问题出发 · 先认清测试发生在哪一段
我追问的是“这是不是在选 checkpoint”以及“这个测试什么时候跑”。整理后将三个用途分开:训练测试提供奖励;dev 评估选择训练时长;最终确认集在选定后检验结果。对话 AI 曾把每个 group 错说成 96×16 次生成,也混淆采样成功率和 pass@8。下面以作者记录重新写清每一个分母,而不是沿用课件或对话中的标签。[C1] ↗
| 最终确认指标 | RL 前 | RL 后 | 统计单位 |
|---|---|---|---|
| 贪心解出任务 | 0/24 | 16/24 | 24 个任务,各一次 |
| 采样程序全部过测试 | 13/192 | 88/192 | 24 题,各 8 次生成 |
| 8 次中至少一次成功 | 9/24 | 19/24 | 按任务统计 pass@8 |
这三行不能混用
采样程序成功率从约 6.8% 到 45.8%,提升约 39.1 个百分点;pass@8 则从 37.5% 到约 79.2%,提升约 41.7 点。P3-M230 把两者的解释混用,本次整理按报告分开。
| 操作家族 | 采样成功数:前 → 后 | 是否属于本次 RL 训练 |
|---|---|---|
| increment | 6/64 → 40/64 | 是 |
| double | 4/64 → 45/64 | 是 |
| even | 3/64 → 3/64 | 是 |
| square | 52/64 → 37/64 | 否 |
| list_sum | 61/64 → 56/64 | 否 |
有进步,也有干扰
加一和加倍变得更可靠,判偶没有改善,两个非目标家族退化。这些家族都曾出现在预训练中,因此“未做本次 RL”不能写成“从来没训练过”。这支持窄范围策略改善,并不证明普遍编程能力提升。
证据的边界
确认集未用于训练或检查点选择,是本设计的优点;但它仍来自熟悉的操作家族和模板。主实验只有一个最终训练种子,不能据此保证换种子或换任务分布仍有同样增益。报告给出的显著性与区间也受这个抽样范围约束。
全部数字引自作者 REPORT.md [C1] ↗。未在本次整理运行训练或复算完整原始实验;本次整理核对了指标算术与归属。
继续聊聊
留一个想法,或一个问题
这里的留言公开可见。欢迎分享你的理解,也可以指出值得修正的地方。
项目的留言
正在读取留言…