几种常见的损失函数

1. 损失函数、代价函数与目标函数

损失函数（Loss Function）：是定义在单个样本上的，是指一个样本的误差。
代价函数（Cost Function）：是定义在整个训练集上的，是所有样本误差的平均，也就是所有损失函数值的平均。
目标函数（Object Function）：是指最终需要优化的函数，一般来说是经验风险+结构风险，也就是（代价函数+正则化项）。

2. 常用的损失函数

（1）0-1损失函数（0-1 loss function）

也就是说，当预测错误时，损失函数为1，当预测正确时，损失函数值为0。该损失函数不考虑预测值和真实值的误差程度。只要错误，就是1。

（2）平方损失函数（quadratic loss function）

是指预测值与实际值差的平方。

（3）绝对值损失函数（absolute loss function）

该损失函数的意义和上面差不多，只不过是取了绝对值而不是求绝对值，差距不会被平方放大。

（4）对数损失函数（logarithmic loss function）

这个损失函数就比较难理解了。事实上，该损失函数用到了极大似然估计的思想。P(Y|X)通俗的解释就是：在当前模型的基础上，对于样本X，其预测值为Y，也就是预测正确的概率。由于概率之间的同时满足需要使用乘法，为了将其转化为加法，我们将其取对数。最后由于是损失函数，所以预测正确的概率越高，其损失值应该是越小，因此再加个负号取个反。

（5）Hinge loss

Hinge loss一般分类算法中的损失函数，尤其是SVM，其定义为：

3. 常用的代价函数

（1）均方误差（Mean Squared Error）

均方误差是指参数估计值与参数真值之差平方的期望值; MSE可以评价数据的变化程度，MSE的值越小，说明预测模型描述实验数据具有更好的精确度。（ ii 表示第 ii个样本，NN 表示样本总数）
通常用来做回归问题的代价函数。

（2）均方根误差

均方根误差是均方误差的算术平方根，能够直观观测预测值与实际值的离散程度。
通常用来作为回归算法的性能指标。

（3）平均绝对误差（Mean Absolute Error）

平均绝对误差是绝对误差的平均值，平均绝对误差能更好地反映预测值误差的实际情况。
通常用来作为回归算法的性能指标。

（4）交叉熵代价函数（Cross Entry）

交叉熵是用来评估当前训练得到的概率分布与真实分布的差异情况，减少交叉熵损失就是在提高模型的预测准确率。其中 p(x)p(x) 是指真实分布的概率， q(x) 是模型通过数据计算出来的概率估计。
比如对于二分类模型的交叉熵代价函数（可参考逻辑回归一节）：

其中 f(x)f(x) 可以是sigmoid函数。或深度学习中的其它激活函数。而 y(i)∈0,1y(i)∈0,1 。
通常用做分类问题的代价函数。

常见的损失函数（代价函数）相关推荐

ML之ME/LF：机器学习中的模型评估指标/损失函数(连续型/离散型)的简介、损失函数/代价函数/目标函数之间区别、案例应用之详细攻略
ML之ME/LF:机器学习中的模型评估指标/损失函数(连续型/离散型)的简介.损失函数/代价函数/目标函数之间区别.案例应用之详细攻略目录损失函数的简介损失函数/代价函数/目标函数之间区别损失 ...
机器学习-常见的损失函数比较
在机器学习每一个算法中都会有一个目标函数,算法的求解过程是通过对这个目标函数优化的过程.在分类或者回归问题中,通常使用损失函数(代价函数)作为其目标函数.损失函数用来评价模型的预测值和真实值不一样的程 ...
经验 | 深度学习中常见的损失函数(loss function)总结
点上方蓝字计算机视觉联盟获取更多干货在右上方 ··· 设为星标 ★,与你不见不散仅作分享,不代表本公众号立场,侵权联系删除转载于:机器学习算法与自然语言处理出品单位 | 哈工大SCIR实 ...
交叉熵损失函数优缺点_【损失函数】常见的损失函数(loss function)总结
阅读大概需要7分钟跟随小博主,每天进步一丢丢机器学习算法与自然语言处理出品 @公众号原创专栏作者 yyHaker 单位 | 哈工大SCIR实验室损失函数用来评价模型的预测值和真实值不一样的程度, ...
损失函数代价函数成本函数目标函数的区别
损失函数&代价函数&成本函数&目标函数的区别参考1:机器学习中的目标函数.损失函数.代价函数有什么区别? link: https://www.jianshu.com/p/dd ...
了解机器学习回归的3种最常见的损失函数
机器学习中的损失函数是衡量你的ML模型的预测结果准确性的一个指标. 损失函数将以两项作为输入:模型的输出值和标准答案的期望值.损失函数的输出称为损失,它是衡量我们的模型在预测结果方面做得有多好. 损失 ...
Pytorch学习 - Task6 PyTorch常见的损失函数和优化器使用
Pytorch学习 - Task6 PyTorch常见的损失函数和优化器使用官方参考链接 1. 损失函数 (1)BCELoss 二分类计算公式小例子: (2) BCEWithLogitsLoss ...
机器学习中常见的损失函数
常见的损失函数:https://zhuanlan.zhihu.com/p/58883095
深度学习中常见的损失函数
文章来源于AI的那些事儿,作者黄鸿波 2018年我出版了<TensorFlow进阶指南基础.算法与应用>这本书,今天我把这本书中关于常见的损失函数这一节的内容公开出来,希望能对大家有所帮 ...

常见的损失函数（代价函数）