网站开发需要注册几类商标,网上购物网站建设方案,广州最近流行传染疾病,鞍山市城市建设管理局网站Loss
loss的作用如下#xff1a; 计算实际输出和真实值之间的差距为我们更新模型提供一定的依据#xff08;反向传播#xff09;
L1Loss
绝对值损失函数#xff1a;在每一个batch_size内#xff0c;求每个输入x和标签y的差的绝对值#xff0c;最后返回他们平均值
M…Loss
loss的作用如下 计算实际输出和真实值之间的差距为我们更新模型提供一定的依据反向传播
L1Loss
绝对值损失函数在每一个batch_size内求每个输入x和标签y的差的绝对值最后返回他们平均值
MSELoss
均方损失函数在每一个batch_size内求每个输入x和标签y的差的平方最后返回他们的平均值
交叉熵Loss
当我们在处理分类问题时经常使用交叉熵损失函数。 交叉熵能够衡量同一个随机变量中的两个不同概率分布的差异程度在机器学习中就表示为真实概率分布与预测概率分布之间的差异。交叉熵的值越小模型预测效果就越好。交叉熵在分类问题中常常与softmax是标配softmax将输出的结果进行处理使其多个分类的预测值和为1再通过交叉熵来计算损失。 由于以下内容需要理解Softmax函数和交叉熵损失函数所以先回顾一遍Softmax函数 首先分类任务的目标是通过比较每个类别的概率大小来判断预测的结果。但是我们不能选择未规范化的线性输出作为我们的预测。原因有两点。
1. 线性输出的总和不一定为1
2. 线性输出可能有负值因此我们采用Softmax规范手段来保证输出的非负、和为1公式和举例如下 左侧为Softmax函数公式右侧的o为线性输出y为Softmax规范后的输出 交叉熵损失函数 下图为交叉熵损失函数公式P(x)为真实概率分布q(x)为预测概率分布 我们将Softmax规范后的输出代入交叉熵损失函数中可得 在训练中我们已知该样本的类别那么在该样本的真实概率分布中只有该类别为1其他都为0。在计算机中的log默认都是ln。 这就是Pytorch官网中的交叉熵损失函数公式
