深入理解机器学习中的：目标函数，损失函数和代价函数

参考知乎回答整理：https://www.zhihu.com/question/52398145

主要参考：https://www.zhihu.com/question/52398145/answer/209358209

基本概念：

损失函数：计算的是一个样本的误差

代价函数：是整个训练集上所有样本误差的平均

目标函数：代价函数 + 正则化项

实际应用：

损失函数和代价函数是同一个东西，目标函数是一个与他们相关但更广的概念，举例说明：

上面三个图的曲线函数依次为f1(x),f2(x),f3(x)，我们想用这三个函数分别来拟合真实值Y。

我们给定x，这三个函数都会输出一个f(X)，这个输出的f(X)与真实值Y可能是相同的，也可能是不同的，为了表示我们拟合的好坏，我们就用一个函数来度量拟合的程度。这个函数就称为损失函数(loss function)，或者叫代价函数(cost function)。

损失函数越小，就代表模型拟合的越好。那是不是我们的目标就只是让loss function越小越好呢？还不是。这个时候还有一个概念叫风险函数(risk function)。风险函数是损失函数的期望，这是由于我们输入输出的(X,Y)遵循一个联合分布，但是这个联合分布是未知的，所以无法计算。但是我们是有历史数据的，就是我们的训练集，f(X)关于训练集的平均损失称作经验风险(empirical risk)，所以我们的目标就是最小化经验风险。

到这里完了吗？还没有。

如果到这一步就完了的话，那我们看上面的图，那肯定是最右面的f3(x)的经验风险函数最小了，因为它对历史的数据拟合的最好嘛。但是我们从图上来看它肯定不是最好的，因为它过度学习历史数据，导致它在真正预测时效果会很不好，这种情况称为过拟合(over-fitting)。为什么会造成这种结果？大白话说就是它的函数太复杂了，都有四次方了，这就引出了下面的概念，我们不仅要让经验风险最小化，还要让结构风险最小化。

这个时候就定义了一个函数J(f)，这个函数专门用来度量模型的复杂度，在机器学习中也叫正则化(regularization)。常用的有L1， L2范数。到这一步我们就可以说我们最终的优化函数是：

即最优化经验风险和结构风险，而这个函数就被称为目标函数

深入理解机器学习中的：目标函数，损失函数和代价函数相关推荐

机器学习中常见的损失函数和代价函数
损失函数 (loss function) 是用来估量在一个样本点上模型的预测值 h(x) 与真实值 y 的不一致程度.它是一个非负实值函数,通常使用 L(y, h(x)) 来表示. 损失函数可由 y ...
一文看懂机器学习中的常用损失函数
作者丨stephenDC 编辑丨zandy 来源 | 大数据与人工智能(ID: ai-big-data) 导语:损失函数虽然简单,却相当基础,可以看做是机器学习的一个组件.机器学习的其他组件,还包括激 ...
机器学习中的常见问题—损失函数
机器学习中的常见问题--损失函数一.分类算法中的损失函数在分类算法中,损失函数通常可以表示成损失项和正则项的和,即有如下的形式: J(w)=∑iL(mi(w))+λR(w)J(w)=∑iL(mi( ...
机器学习中的各种损失函数（Hinge loss，交叉熵，softmax）
机器学习中的各种损失函数 SVM multiclass loss(Hinge loss) 这是一个合页函数,也叫Hinge function,loss 函数反映的是我们对于当前分类结果的不满意程度.在 ...
机器学习中常见的损失函数_机器学习中最常见的损失函数
机器学习中常见的损失函数现实世界中的DS (DS IN THE REAL WORLD) In mathematical optimization and decision theory, a los ...
机器学习中的目标函数、损失函数、代价函数有什么区别？
作者:zzanswer 链接:https://www.zhihu.com/question/52398145/answer/209358209 来源:知乎著作权归作者所有.商业转载请联系作者获得授权 ...
机器学习中的目标函数、损失函数、代价函数的区别
转载自:https://www.zhihu.com/question/52398145 基本概念: 损失函数:计算的是一个样本的误差代价函数:是整个训练集上所有样本误差的平均目标函数:代价函数 + ...
机器学习中的目标函数总结
点击上方,选择星标或置顶,每天给你送干货! 阅读大概需要26分钟跟随小博主,每天进步一丢丢来自:SIGAI 几乎所有的机器学习算法都归结为求解最优化问题.有监督学习算法在训练时通过优化一个目标函数 ...
[机器学习必知必会]如何理解机器学习中的正则化
正则化综述机器学习中经常会在损失函数中加入正则项,称之为正则化(Regularize). 目的:防止模型过拟合原理:在损失函数上加上某些规则(限制),缩小解空间,从而减少求出过拟合解的可能性例 ...

深入理解机器学习中的：目标函数，损失函数和代价函数

深入理解机器学习中的：目标函数，损失函数和代价函数相关推荐

最新文章

热门文章