我的 AI 学习地图V2 · 学习地图 · 2026.10
← 返回学习与验证

NOTE 12 / 学习与验证

采样不是旁边另做的一件事

一次 rollout 怎样生成,反馈又在什么时候发生?

个人学习记录 · 原始对话见引文 · 整理核对于 2026-10-16
我的原话
等一下等一下 为什么要用采样 我们的目的不就是要生成最高的吗 你随机采样一个低的有啥用
P3-M239 · 2026-10-14 · 原对话 ↗
我的原话
对他和交叉熵不一样 交叉熵是对所有的答案的概率 这个是通过采样来获得反馈
P3-M241 · 2026-10-14 · 原对话 ↗
我的原话(节选)
采样就是生成 我误会了 他不是在模型的最后生成答案的阶段 模型生成答案确实就是选概率最大的 两个维度的词
P3-M243 · 2026-10-14 · 原对话 ↗

原 AI 解释 · 摘要

P3-M238、240 把一次完整生成解释为一次 rollout,并把多次尝试与奖励反馈联系起来。但后续对“推理一定选概率最大”的认可过头,值得在这篇笔记中直接标出。

整理核对

随机采样发生在生成过程中:从下一个 token 的分布抽取 token,逐步组成回答。训练时可以采样,实际使用时也可以采样。贪心解码每步取最大概率 token,不保证整段答案的联合概率最高,更不保证答案正确。

你已经抓住的区别,与还要改的一半

“生成完整答案后再获得反馈”是进展。交叉熵通常对给定目标 token 的概率计算损失,并非拿所有候选答案逐一判对错。单次生成也能被验证器评分;RLOO 的留一组内基线才要求至少两个样本,不能推广成“所有 RL 必须多采样才有信号”。[R7] ↗

未闭合状态

本次整理保留原话及本次修正;尚没有你对这次修正的后续复述,不标“已彻底掌握”。

核对来源 · 1 项

技术核对:2026-10-16。个人学习记录只代表原对话当时的范围。

关于这篇笔记,留下一个问题 →