目录：
- 前言：
- 1、什么是目标函数？
- 2、损失函数
- 3、正则化
- 总结：

定义是：指所关心的目标与相关的因素的函数关系。举个例子，假如我们想要预测公司楼下手抓饼店明天能卖多少张手抓饼，已知过去10天每天卖多少，以及每天的天气情况，是否有节假日，和手抓饼店老板和老板娘的感情状况，这几项数据都统计好了。对应到目标函数的解释就是：

关心的目标是明天能卖多少手抓饼，未知量。
相关因素是每天数量，天气情况，节假日，老板老板娘感情状况，已知量。
目标函数：按照一定的思路把这些已知条件利用起来，去求解未知量的函数关系式。

2、损失函数

也叫代价函数，是同一个东西。是用来评估模型的预测值f(x)与真实值Y的差距，它是一个非负实值函数。稍等一下，为什么是非负的呢？举个例子：比如上面说的手抓饼，模型预测第一天是30，真实值是29，差距30-29是1；预测第二天是35，真实值是36，差距35-36是-1；如果把它们直接加起来就是1-1 = 0，难到没有差距？非常明显是错误的，差距是0人家还以为都预测对了呢，其实都预测错了，所以不能有负值，可以用绝对值，平方或者一些其它的数学运算。
常用的损失函数有：

LR逻辑回归：log对数损失函数参考：
https://xiaozhuanlan.com/topic/7491865230
最小二乘法：平方损失函数参考：
https://xiaozhuanlan.com/topic/3129560874
Adaboost：指数损失函数

好的，现在我们再来看一下目标函数通常的定义形式：

Obj(Θ)=L(Θ)+Ω(Θ)

中文翻译一下是：

目标函数 = 损失函数 + 正则项

目标函数和损失函数我们都理解了，那么正则项是干什么的呢？

3、正则化

回到我们前面举的那个例子，如果第五天有个人中彩票了然后兴奋的来买了1百张手抓饼，比几天的量都多，很明显这个情况会影响我们的模型训练，这个情况就是过拟合。而加入正则项的目的就是使模型避免过拟合。
常用的有L1，L2正则化，很熟悉对不对，前面讲过的线性代数中的L1，L2范数有些类似。其实本质是一样的，在机器学习里叫正则化，线性代数叫范数，统计学里叫惩罚项。
机器学习里：L1使用的是绝对值距离，也叫曼哈顿距离，L2使用的是平方距离，也叫做欧式（Euclidean）距离
线性代数：L1 范数计算的是向量所有元素绝对值的和，L2 范数计算的是通常意义上的向量长度参考：https://xiaozhuanlan.com/topic/4961780352

总结：

介绍了目标函数，损失函数和正则项的作用，优化损失函数使模型避免欠拟合使损失函数最小化，优化正则项使模型避免过拟合。

机器学习中目标函数、损失函数以及正则项的通俗解释相关推荐

机器学习中的损失函数
机器学习中的损失函数目录(?)[-] 一log对数损失函数逻辑回归二平方损失函数最小二乘法 Ordinary Least Squares 三指数损失函数Adaboost 四Hinge损失函数SVM ...
机器学习中的损失函数（着重比较：hinge loss vs softmax loss）
https://blog.csdn.net/u010976453/article/details/78488279 1. 损失函数损失函数(Loss function)是用来估量你模型的预测值 f( ...
机器学习中目标函数、损失函数、代价函数之间的区别和联系
首先给出结论:损失函数和代价函数是同一个东西,目标函数是一个与他们相关但更广的概念,对于目标函数来说在有约束条件下的最小化就是损失函数(loss function) 举个例子解释一下:(图片来自And ...
机器学习中的损失函数（Loss Function）介绍、说明
损失函数损失函数介绍常见的损失函数 1.对数损失函数(Logloss) 2. hinge loss 合页损失函数 3. exp-loss 指数损失函数 4. cross-entropy loss ...
机器学习中的损失函数（交叉熵损失、Hinge loss）
损失函数文章目录损失函数 1 交叉熵损失 1.1 从最大似然估计到交叉熵损失概率论中的MLE 机器学习中的MLE 交叉熵损失 1.2 多分类的交叉熵损失函数 1.3 比较 2. Hinge lo ...
机器学习中L0, L1, L2正则项介绍
版权声明:本文为原创文章:http://blog.csdn.net/programmer_wei/article/details/52093281 L0,L1,L2正则项是机器学习中常用的正则项,本文 ...
机器学习中各种损失函数对比总结
文章目录一.分类问题 1. 0-1损失函数(zero-one loss) 2. Hinge 损失函数 3. log对数损失函数 4. Logistic损失 5. 交叉熵损失函数 (Cross-ent ...
机器学习中的损失函数（附python代码）
本文将深入研究hinge损失.logistic损失和二分类损失背后的概念和原理,并在MATLAB上实现感知器算法,并看看如何根据损失函数来选择最佳分类器. 在本文的最后,你将知道如何使用感知器进行分类 ...
机器学习中的L1与L2正则化图解！
今日锦囊特征锦囊:今天一起搞懂机器学习里的L1与L2正则化今天我们来讲讲一个理论知识,也是老生常谈的内容,在模型开发相关岗位中出场率较高的,那就是L1与L2正则化了,这个看似简单却十分重要的概念, ...

机器学习中目标函数、损失函数以及正则项的通俗解释

目录：

前言：

1、什么是目标函数？

2、损失函数

3、正则化

总结：

机器学习中目标函数、损失函数以及正则项的通俗解释相关推荐

最新文章

热门文章