【机器学习】 - 关于合适用均方误差（MSE）何时用交叉熵（cross-entropy）

分类问题用交叉熵，回归问题用均方误差。

至于原因，可以看看它们的函数式，主要是两种损失函数对分类和回归结果误差的衡量的方式不同。比如，交叉熵，在分类时（热编码），如果分类正确，则损失值为零，否则就有个较大的损失值，然后反向传播，能够更好地更新权重；同理，均方误差mse，则是用来测算距离，很好地衡量了预测的实数值和事实值之间的数值大小的差异程度，如果很大，则bp之后权重更新会较为明显，反之，则只是微调权重。

综上，这两种损失函数，都是为了更好地衡量你的真实结果与预测结果之间的差异的。

（但是logistic回归为啥就不能MSE只能交叉熵？是属于特例嘛？）

参考链接：

https://blog.csdn.net/weixin_41888969/article/details/89450163

https://www.cnblogs.com/xiaoboge/p/9656216.html

https://www.zhihu.com/question/320490312/answer/654084489

【机器学习】 - 关于合适用均方误差（MSE）何时用交叉熵（cross-entropy）相关推荐

机器学习中交叉熵cross entropy是什么，怎么计算？
项目背景:人体动作识别(分类),CNN或者RNN网络,softmax分类输出,输出为one-hot型标签. loss可以理解为预测输出pred与实际输出Y之间的差距,其中pred和Y均为one-hot ...
【AI学习总结】均方误差（Mean Square Error,MSE）与交叉熵（Cross Entropy,CE）损失函数
出发点对于一个样本,有输入和输出结果,我们的目的是优化训练我们的模型,使得对于样本输入,模型的预测输出尽可能的接近真实输出结果.现在需要一个损失函数来评估预测输出与真实结果的差距. 均方误差回归问 ...
【机器学习】二次损失函数的不足及交叉熵损失softmax详解
二次代价函数的不足: 以sigmoid激活函数为例,由于初始化是随机的,假设目标值为0,第一次随机初始化使得输入为0.82,那么还可以,多次迭代之后可以收敛到0.09,但如果第一次随机初始化到0.98 ...
均方误差越大越好_直观理解为什么分类问题用交叉熵损失而不用均方误差损失?...
交叉熵损失与均方误差损失常规分类网络最后的softmax层如下图所示,传统机器学习方法以此类比, 一共有\(K\)类,令网络的输出为\([\hat{y}_1,\dots, \hat{y}_K]\), ...
相对熵与交叉熵_详解机器学习中的熵、条件熵、相对熵、交叉熵
目录信息熵条件熵相对熵交叉熵总结一信息熵 (information entropy) 熵 (entropy) 这一词最初来源于热力学.1948年,克劳德·爱尔伍德·香农将热力学中的熵引 ...
解释机器学习中的熵、联合熵、条件熵、相对熵和交叉熵
原文地址:https://www.cnblogs.com/kyrieng/p/8694705.html 1.信息熵 (information entropy) 熵 (entropy) 这一词最初来源于 ...
详解机器学习中的熵、条件熵、相对熵、交叉熵
欢迎大家关注我们的网站和系列教程:http://www.tensorflownews.com/,学习更多的机器学习.深度学习的知识! 目录信息熵条件熵相对熵交叉熵总结一信息熵 (info ...
【李沐】softmax回归-1.使用交叉熵作为损失函数而不是MSE均方误差-（意思就是为什么经过了softmax之后不用MSE） 2.softmax与sigmoid
2. 交叉熵的来源 2.1 信息量一条信息的信息量大小和它的不确定性有很大的关系.一句话如果需要很多外部信息才能确定,我们就称这句话的信息量比较大.比如你听到"云南西双版纳下雪了" ...
机器学习常见损失函数，二元交叉熵，类别交叉熵，MSE，稀疏类别交叉熵
一损失函数介绍损失函数用于描述模型预测值与真实值的差距大小.一般有有两种常见的算法--均值平方差(MSE)和交叉熵.下面来分别介绍每个算法的具体内容. 1 均值平方差均值平方差(Mean Squ ...

【机器学习】 - 关于合适用均方误差（MSE）何时用交叉熵（cross-entropy）

【机器学习】 - 关于合适用均方误差（MSE）何时用交叉熵（cross-entropy）相关推荐

最新文章

热门文章