[机器学习] 概念解析：从经验风险、结构风险到代价函数、损失函数、目标函数

2024-05-13 00:23:23

文章目录

经验风险和结构风险
- 经验风险
- 结构风险
代价函数、损失函数、目标函数的定义
- 损失函数和代价函数
- 目标函数

经验风险和结构风险

借用 Andrew Ng Machine Learning 公开课视频一张图，举个例子：

在上式中，记Size为XXX，Price为YYY，三种拟合的函数分别为f1(X)f_1(X)f1(X)、f2(X)f_2(X)f2(X)、f3(X)f_3(X)f3(X)。

经验风险

为了表示我们拟合的好坏，我们就用一个函数来度量拟合的程度，比如均方误差函数：
L(Y,f(X))=(Y−f(X))2(1)L(Y,f(X)) = (Y-f(X))^2 \tag{1} L(Y,f(X))=(Y−f(X))2(1)
经验风险是模型关于训练集的平均损失，定义如下：
Remp=1N∑i=1NL(y(i),f(x(i)))(2)R_{emp}=\frac{1}{N}\sum_{i=1}^{N}L(y^{(i)},f(x^{(i)})) \tag{2} Remp=N1i=1∑NL(y(i),f(x(i)))(2)
以(2)式和上图，可以得到 L(Y,f1(X))L(Y,f_1(X))L(Y,f1(X)) > L(Y,f3(X))L(Y,f_3(X))L(Y,f3(X)) > L(Y,f3(X))L(Y,f_3(X))L(Y,f3(X))，也就是经验风险 f1(X)f_1(X)f1(X)>f2(X)f_2(X)f2(X)>f3(X)f_3(X)f3(X)。训练集样本代表已经获得的信息，作为已经知道的经验。经验风险最小，等价于模型对训练集样本拟合最贴切。

极大似然估计（MLE）就是经验风险最小化的一个例子。

结构风险

结构风险其实就是过拟合的风险。原因来说的话就是模型太复杂了。显然对于结构风险来说，f1(X)f_1(X)f1(X)<f2(X)f_2(X)f2(X)<f3(X)f_3(X)f3(X)。结构风险最小化。这个时候就定义了一个函数 J(f)J(f)J(f)，来度量模型的复杂度，也叫正则化(regularization) 。常用的有 L1L_1L1，L2L_2L2 范数。

代价函数、损失函数、目标函数的定义

损失函数和代价函数

代价函数和损失函数是一回事，表示样本水平上模型结果于训练样本的平均误差。

比如吴恩达机器学习课程中，对于logistic回归的代价函数 (cost function)，定义如下：

可以看到是平均误差。

目标函数

目标函数是最终需要优化的函数，是有约束条件下的损失函数的最小化。换句话说，包括经验损失和结构损失，可以表示为：
obj=loss+Ωobj=loss+\Omega obj=loss+Ω
其中：

losslossloss：损失函数或者代价函数
Ω\OmegaΩ：正则化项

目标函数的目的是最优化经验风险和结构风险，即：
min[1N∑i=1NL(y(i),f(x(i)))+λJ(f)]min[\frac{1}{N}\sum_{i=1}^{N}L(y^{(i)},f(x^{(i)}))+\lambda J(f)] min[N1i=1∑NL(y(i),f(x(i)))+λJ(f)]
比如吴恩达机器学习课程中，对logistic回归给出的目标函数为：

[机器学习] 概念解析：从经验风险、结构风险到代价函数、损失函数、目标函数相关推荐

结构风险和经验风险是什么？怎么去平衡它们？
经验风险强调的是模型不够强大,以至于都没有抓住样本数据中的本质: 结构风险强调的是模型能力太强,以至于把样本中的噪声等垃圾信息都学进去了,那么当然对测试样本的泛化能力就会变差,所以需要加入正则化或者使 ...
代价函数Cost Function ，损失函数Loss Function，经验风险empirical risk，期望风险expected risk，结构风险structural risk
损失函数,代价函数,目标函数损失函数(Loss Function )是定义在单个样本上的,算的是一个样本的误差. 代价函数(Cost Function )是定义在整个训练集上的,是所有样本误差的平均 ...
机器学习--期望风险、经验风险与结构风险之间的关系
在机器学习中,通常会遇到期望风险.经验风险和结构风险这三个概念,一直不知道这三个概念之间的具体区别和联系,今天来梳理一下: 要区分这三个概念,首先要引入一个损失函数的概念.损失函数是期望风险.经验风险 ...
[机器学习笔记] 什么是经验风险？什么是结构风险？
经验风险机器学习模型关于训练数据集的平均损失称为经验风险.度量平均意义下模型预测效果的好坏. 结构风险结构风险是在经验风险的基础上加上表示模型复杂度的正则项(罚项). 其中: J(f) 是模型的复 ...
机器学习：期望风险、经验风险、结构风险
机器学习:期望风险.经验风险.结构风险这里主要记录我理解期望风险.经验风险.结构风险的过程. 损失函数Loss 损失函数是期望风险.经验风险和结构风险的基础. 我想大多数人对损失函数并不陌生吧,就是 ...
“期望风险”，“经验风险”与“结构风险”的定义与联系
题记 "经验风险" "期望风险" "结构风险"这几个词是在机器学习中经常碰到的几个词汇,它们分别代表什么含义?它们之间的关系是什么呢? 曾经 ...
经验风险、期望风险、结构风险
本次记录内容包括机器学习中的三种类型的风险函数风险函数与损失函数的关系统计学习模型旨在假设空间中寻找最佳的模型,那么需要指定一个准则来作为模型选取的评判标准. 因此引入了损失函数和风险函数. 损失 ...
期望风险, 经验风险和结构风险
经验风险模型关于所有训练集上的平均损失称为经验风险或经验损失. 公式如下: 至此, 我们通过计算单点误差损失的平均值来衡量(刻画)模型对训练集拟合的好坏, 但是我们如何衡量模型对未知数据的拟合能力呢 ...
python 结构风险与经验风险 VC维 SRM SVM
引用文章1: 结构风险与经验风险 https://www.docin.com/p-676184969.html 引用文章2: vc维 https://baike.baidu.com/item/vc维/ ...

最新文章

热门文章