结构风险和经验风险是什么？怎么去平衡它们？

经验风险强调的是模型不够强大，以至于都没有抓住样本数据中的本质；

结构风险强调的是模型能力太强，以至于把样本中的噪声等垃圾信息都学进去了，那么当然对测试样本的泛化能力就会变差，所以需要加入正则化或者使用复杂度较低的模型去学习解决等；

基本概念：

损失函数：计算的是一个样本的误差;
代价函数：是整个训练集上所有样本误差的平均;
目标函数：代价函数 + 正则化项;

术语：

损失函数(loss function)
代价函数(cost function)
风险函数(risk function)
经验风险(empirical risk)
结构风险(structure risk)

损失函数越小，就代表模型拟合的越好。那是不是我们的目标就只是让loss function越小越好呢？还不是。这个时候还有一个概念叫风险函数(risk function)。风险函数是损失函数的期望，这是由于我们输入输出的(X,Y)遵循一个联合分布，但是这个联合分布是未知的，所以无法计算。但是我们是有历史数据的，就是我们的训练集，f(X)关于训练集的平均损失称作经验风险(empirical risk)，所以我们的目标就是最小化经验风险。

但是样本毕竟是样本，从来都不是总体分布（population）, 当模型把样本中的噪声等垃圾信息都学习进去之后，模型就过拟合了，发生了结构风险。

结构风险和经验风险是什么？怎么去平衡它们？相关推荐

python 结构风险与经验风险 VC维 SRM SVM
引用文章1: 结构风险与经验风险 https://www.docin.com/p-676184969.html 引用文章2: vc维 https://baike.baidu.com/item/vc维/ ...
代价函数Cost Function ，损失函数Loss Function，经验风险empirical risk，期望风险expected risk，结构风险structural risk
损失函数,代价函数,目标函数损失函数(Loss Function )是定义在单个样本上的,算的是一个样本的误差. 代价函数(Cost Function )是定义在整个训练集上的,是所有样本误差的平均 ...
什么是结构风险？在决策树类相关算法中通常有哪些正则化参数来控制模型的结构风险？解读一下
什么是结构风险?在决策树类相关算法中通常有哪些正则化参数来控制模型的结构风险?解读一下什么是结构风险? 详细参考:结构风险和经验风险是什么?怎么去平衡它们? 当样本容量足够大时,经验风险最小化能够保 ...
经验风险、期望风险、结构风险
本次记录内容包括机器学习中的三种类型的风险函数风险函数与损失函数的关系统计学习模型旨在假设空间中寻找最佳的模型,那么需要指定一个准则来作为模型选取的评判标准. 因此引入了损失函数和风险函数. 损失 ...
[机器学习] 概念解析：从经验风险、结构风险到代价函数、损失函数、目标函数
文章目录经验风险和结构风险经验风险结构风险代价函数.损失函数.目标函数的定义损失函数和代价函数目标函数经验风险和结构风险借用 Andrew Ng Machine Learning 公开 ...
“期望风险”，“经验风险”与“结构风险”的定义与联系
题记 "经验风险" "期望风险" "结构风险"这几个词是在机器学习中经常碰到的几个词汇,它们分别代表什么含义?它们之间的关系是什么呢? 曾经 ...
[机器学习笔记] 什么是经验风险？什么是结构风险？
经验风险机器学习模型关于训练数据集的平均损失称为经验风险.度量平均意义下模型预测效果的好坏. 结构风险结构风险是在经验风险的基础上加上表示模型复杂度的正则项(罚项). 其中: J(f) 是模型的复 ...
机器学习--期望风险、经验风险与结构风险之间的关系
在机器学习中,通常会遇到期望风险.经验风险和结构风险这三个概念,一直不知道这三个概念之间的具体区别和联系,今天来梳理一下: 要区分这三个概念,首先要引入一个损失函数的概念.损失函数是期望风险.经验风险 ...
期望风险, 经验风险和结构风险
经验风险模型关于所有训练集上的平均损失称为经验风险或经验损失. 公式如下: 至此, 我们通过计算单点误差损失的平均值来衡量(刻画)模型对训练集拟合的好坏, 但是我们如何衡量模型对未知数据的拟合能力呢 ...

结构风险和经验风险是什么？怎么去平衡它们？

结构风险和经验风险是什么？怎么去平衡它们？相关推荐

最新文章

热门文章