训练:让参数逐渐学会任务
给模型数据,比较预测与训练目标,用损失衡量差距。神经网络通常通过反向传播计算梯度,再用梯度下降等方法调整参数;多次重复,学到可用于预测的规律。
旧版入门内容 · 进入新版知识图谱 →
沿着我的学习路径,认识 AI
从一个函数开始,向下理解模型的计算、参数,以及训练与推理。
02 / 通用解释
以神经网络为例:它接收数字形式的输入,按照计算结构和参数进行运算,再给出预测。结构规定“怎样算”,参数决定“具体算出什么”。
图片可以表示为像素数组或图像块;文字先分成 token,再映射到向量。
卷积或注意力等模块,结合矩阵运算、非线性变换和归一化,逐层处理特征。
例如,图像分类模型输出类别得分;语言模型输出下一个 token 的得分。
选择类别、采样 token,或将生成的表示解码成图像,供人阅读和使用。
这四步是理解流程的框架。输入编码和输出映射也可能属于模型本身;生成文字或图像通常需要反复调用模型,并结合采样等步骤。
给模型数据,比较预测与训练目标,用损失衡量差距。神经网络通常通过反向传播计算梯度,再用梯度下降等方法调整参数;多次重复,学到可用于预测的规律。
使用模型时,通常保持参数固定,执行前向计算。语言生成会逐个 token 重复这个过程;加入新的上下文或检索资料,并不等于更新了模型参数。
识别图片:猫的照片 → 提取特征 → 类别得分 → “猫”。
生成文字:当前上下文 → 下一个 token 的得分 → 选择一个 token → 加入上下文,继续生成。
生成图片:提示词和噪声 → 反复预测并更新 → 解码为图像。具体过程取决于模型与生成方法。
先读上面的通用解释,再按兴趣展开细节。原图保留学习过程,旁边的说明补充适用范围。
进一步阅读:Deep learning:表示学习与训练 · GPT-3:在上下文中提供示例
读完这一章
留一个想法,或一个问题
这里的留言公开可见。欢迎分享你的理解,也可以指出值得修正的地方。
这一章的留言
正在读取留言…