等一下等一下 为什么要用采样 我们的目的不就是要生成最高的吗 你随机采样一个低的有啥用P3-M239 · 2026-10-14 · 原对话 ↗
对他和交叉熵不一样 交叉熵是对所有的答案的概率 这个是通过采样来获得反馈P3-M241 · 2026-10-14 · 原对话 ↗
采样就是生成 我误会了 他不是在模型的最后生成答案的阶段 模型生成答案确实就是选概率最大的 两个维度的词P3-M243 · 2026-10-14 · 原对话 ↗
原 AI 解释 · 摘要
P3-M238、240 把一次完整生成解释为一次 rollout,并把多次尝试与奖励反馈联系起来。但后续对“推理一定选概率最大”的认可过头,值得在这篇笔记中直接标出。
整理核对
随机采样发生在生成过程中:从下一个 token 的分布抽取 token,逐步组成回答。训练时可以采样,实际使用时也可以采样。贪心解码每步取最大概率 token,不保证整段答案的联合概率最高,更不保证答案正确。
你已经抓住的区别,与还要改的一半
“生成完整答案后再获得反馈”是进展。交叉熵通常对给定目标 token 的概率计算损失,并非拿所有候选答案逐一判对错。单次生成也能被验证器评分;RLOO 的留一组内基线才要求至少两个样本,不能推广成“所有 RL 必须多采样才有信号”。[R7] ↗
未闭合状态
本次整理保留原话及本次修正;尚没有你对这次修正的后续复述,不标“已彻底掌握”。