正则化、交叉验证、泛化能力

一、正则化
1、模型选择典型的方式就是正则化。正则化就是结构风险最小化策略的实现，就是在经验风险项中添加一个郑泽华想或者叫做惩罚项。
正则化项与模型的关系一般是模型复杂度越高，正则化项的值就会越大。
正则化项的作用就是平衡经验风险较小与模型复杂度较小。最好的结果就是经验风险和模型复杂度同时较小。
正则化的一般形式为：

其中，第一项为经验风险项，第二项为正则化项。值λ是为了调整两者关系的系数。

二、交叉验证
通常情况下，我们做模型选择的时候将数据分为训练集、验证集和测试集。但是实际应用中，往往数据并不是很充足，这就导致分为三部分后每一部分数据量不足，这样计算选择得到的模型往往是不可用的。因此我们在这种情况下，可以选择使用交叉验证的方式解决数据量不足的情况。
1、简单地交叉验证
简单地交叉验证，就是指随机的将数据分为两部分，一部分为训练数据，一部分为测试数据，一般情况下比例为7:3。使用训练数据应用到各种模型的训练上得到多个不同的模型，然后利用测试数据计算每个模型的计算误差，最终选择误差最小的模型即为最优的模型。
2、S折交叉验证
S折交叉验证，就是将数据等比例的分为S份，然后选择其中的S-1份数据作为训练数据，剩余的一份作为测试数据，这样训练数据及测试数据就有S中选择，于是最终选择通过S次评测平均测试误差最小的模型为最优模型。

三、泛化能力
1、定义：泛化能力就是指所学到的模型对未知数据的预测能力，通常情况我们使用测试数据来验证模型的泛化能力，但是由于数据集有线，其并不能包含数据所有的可能情况，因此测试数据的测试结果并不能完全体现模型的泛化能力，这种评测结果并不可靠。
2、泛化误差
假设学到的模型为，则模型的泛化误差为：

泛化误差反映了模型的泛化能力，模型选择中，泛化误差越小则模型越好。
3、泛化误差上界
通常学习方法的泛化能力分析是研究泛化误差得概率上界。比较两个学习方法的泛化误差上界来确定两个学习方法的优劣。其性质如下：
（1）泛化误差上界是样本容量的函数，样本容量越大，则泛化误差上界越趋于0。
（2）泛化误差上界是函数空间的函数，假设空间容量越大，模型就越难学，泛化误差上界就越大。

转载于:https://www.cnblogs.com/aurorablog/p/9034529.html

正则化、交叉验证、泛化能力相关推荐

机器学习中模型泛化能力和过拟合现象(overfitting)的矛盾、以及其主要缓解方法正则化技术原理初探...
1. 偏差与方差 - 机器学习算法泛化性能分析在一个项目中,我们通过设计和训练得到了一个model,该model的泛化可能很好,也可能不尽如人意,其背后的决定因素是什么呢?或者说我们可以从哪些方面去 ...
神经网络与机器学习笔记—泛化和交叉验证
泛化和交叉验证泛化在反向传播学习中,一般从一个训练样本开始,而且通过网络中装载尽可能多的训练样本来使用反向传播算法计算一个多层感知器的突触权值.希望这样设计的神经网络可以很好的泛化.对于从未在生成 ...
深度学习提高泛化能力的技术
LeetCode题目记录 1.泛化能力(generalization) 2.正则化(regularization) 2.1 正则化方法 1.泛化能力(generalization) 对于模型,我们不仅 ...
【深度学习】(7) 交叉验证、正则化，自定义网络案例：图片分类，附python完整代码
各位同学好,今天和大家分享一下TensorFlow2.0深度学习中的交叉验证法和正则化方法,最后展示一下自定义网络的小案例. 1. 交叉验证交叉验证主要防止模型过于复杂而引起的过拟合,找到使模型泛化 ...
31,32,33_过拟合、欠拟合的概念、L2正则化，Pytorch过拟合欠拟合，交叉验证-Train-Val-Test划分，划分训练集和测试集，K-fold,Regularization
1.26.过拟合.欠拟合及其解决方案 1.26.1.过拟合.欠拟合的概念 1.26.1.1.训练误差和泛化误差 1.26.1.2.验证数据集与K-fold验证 1.26.1.3.过拟合和欠拟合 1.2 ...
机器学习-过拟合、正则化、稀疏性、交叉验证概述
在机器学习中,我们将模型在训练集上的误差称之为训练误差,又称之为经验误差,在新的数据集(比如测试集)上的误差称之为泛化误差,泛化误差也可以说是模型在总体样本上的误差.对于一个好的模型应该是经验误差约等 ...
正则化方法/防止过拟合提高泛化能力的方法：L1和L2 regularization、数据集扩增、dropout
转载自:http://blog.csdn.net/u012162613/article/details/44261657 本文是<Neural networks and deep learnin ...
模型选择的方法——正则化与交叉验证
一预备知识: 在典型的机器学习应用中,为进一步提高模型在预测未知数据的性能,还要对不同的参数设置进行调优与比较,该过程称为模型选择,指的是针对某一特定问题,调整参数以寻求最优超参数的过程. 偏差:描 ...
神经网络中的过拟合的原因及解决方法、泛化能力、L2正则化
过拟合:训练好的神经网络对训练数据以及验证数据拟合的很好,accuracy很高,loss很低,但是在测试数据上效果很差,即出现了过拟合现象. 过拟合产生的原因: (1)数据集有噪声 (2)训练数据不足 ...

正则化、交叉验证、泛化能力

正则化、交叉验证、泛化能力相关推荐

最新文章

热门文章