损失函数/成本函数/目标函数的区别

https://mp.weixin.qq.com/s/nkfQnXIwDNPtcZEVQyTvZw

导读

在我刚开始学机器学习的时候也是闹不懂这三者的区别，当然，嘿嘿，初学者的你们是不是也有那么一丢丢迷茫呢？那么今天咱们就把这样的问题解决了！

损失函数

损失函数一般指的是针对单个样本 i 做的损失，公式可以表示为：

当然，只是举个例子，如果较真的话，还可以有交叉熵损失函数等。

成本函数

成本函数一般是数据集上总的成本函数，一般针对整体，根据上面的例子，这里的成本函数可以表示为

当然我们可以加上正则项

目标函数

目标函数是一个很广泛的称呼，我们一般都是先确定目标函数，然后再去优化它。比如在不同的任务中，目标函数可以是

最大化后验概率MAP(比如朴素贝叶斯)
最大化适应函数(遗传算法)
最大化回报/值函数（增强学习）
最大化信息增益/减小子节点纯度(CART 决策树分类器)
最小化平方差错误成本（或损失）函数（CART，决策树回归，线性回归，线性适应神经元）
最大化log-相似度或者最小化信息熵损失（或者成本）函数
最小化hinge损失函数（支持向量机SVM）
etc.

References

忆臻知乎回答

https://zhuanlan.zhihu.com/p/49323974

国外资料

https://www.quora.com/What-is-the-difference-between-a-cost-function-and-a-loss-function-in-machine-learning

损失函数/成本函数/目标函数的区别相关推荐

损失函数, 成本函数, 目标函数的区别
机器学习中经常会碰到"损失函数","成本函数", 和"目标函数".许多初学者会被这些概念搞晕.但是概念不能混.
损失函数代价函数成本函数目标函数的区别
损失函数&代价函数&成本函数&目标函数的区别参考1:机器学习中的目标函数.损失函数.代价函数有什么区别? link: https://www.jianshu.com/p/dd ...
关于损失函数成本函数代价函数
损失函数(loss function)是用来估量你模型的预测值f(x)与真实值Y的不一致程度的一类函数,它是一个非负实值函数,通常使用L(Y, f(x))来表示,损失函数越小,模型的鲁棒性就越好在数 ...
损失函数（loss）与成本函数(cost)的区别
Logistic回归模型及损失函数和成本函数
Logistic回归模型.损失函数和成本函数 logistic模型损失函数成本函数梯度下降法 logistic模型 logistic模型: y^=σ(wTx+b)\hat{y} = σ(w^Tx ...
Logistic逻辑回归(sigmod二分类)成本函数推导及其梯度下降
logistic逻辑回归是比较常用的二分分类,其激活函数适用于各种二分类场景,但是其函数在t极大或者极小的时候趋于饱和会引发梯度消失,影响网络调参使得函数不能很好的收敛有兴趣的同学可以参阅我的上一篇 ...
深度学习之损失函数、成本函数、目标函数的基本概念
损失函数(Loss function)是定义在单个训练样本上的,是真实值和预测值的非负值函数.也就是算一个样本的误差. 代价函数(Cost function)是定义在整个训练集上面的,也就是所有样本的 ...
成本函数/代价函数、损失函数、目标函数
日萌社人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新) 目标函数:既可代指损失函数,又可代指代价函数/成本函数.有的地 ...
ML之ME/LF：机器学习中的模型评估指标/损失函数(连续型/离散型)的简介、损失函数/代价函数/目标函数之间区别、案例应用之详细攻略
ML之ME/LF:机器学习中的模型评估指标/损失函数(连续型/离散型)的简介.损失函数/代价函数/目标函数之间区别.案例应用之详细攻略目录损失函数的简介损失函数/代价函数/目标函数之间区别损失 ...

损失函数/成本函数/目标函数的区别

损失函数/成本函数/目标函数的区别相关推荐

最新文章

热门文章