【机器学习基础】泛化能力、过拟合、欠拟合、不收敛、奥卡姆剃刀原则

这里介绍几个机器学习中经常可以听到的几个名词，它们就是泛化能力，欠拟合，过拟合，不收敛和奥卡姆剃刀原则。

1. 泛化能力

泛化能力是指机器学习算法对新鲜样本的适应能力，简而言之是在原有的数据集上添加新的数据集，通过训练输出一个合理的结果。

学习的目的是学到隐含在数据背后的规律，对具有同一规律的学习集以外的数据，经过训练的网络也能给出合适的输出，该能力称为泛化能力。

用比较直白的话来讲，就是通过数据训练学习的模型，然后利用新的一组数据来测试，这个模型到底行不行，如果达到了一定的要求和标准，它就是行，说明泛化能力好，如果表现很差，说明泛化能力就差。

2. 欠拟合

欠拟合，是指模型拟合程度不高，数据距离拟合曲线较远，或指模型没有很好地捕捉到数据特征，不能够很好地拟合数据。即，在训练数据集上表现差，在测试集数据也表现差。

3. 过拟合

过拟合，是指模型在训练集上表现很好，在测试集上效果差。

4. 不收敛

不收敛，指误差函数一直在振荡，不能趋近一个定值，没有找到局部或者全局最小值。

5. 奥卡姆剃刀原则

应用于模型选择时的想法为：在所有可选择的模型中，能够很好的解释已知数据并且十分简单才是最好的模型，也就是应该选择的模型。

【机器学习基础】泛化能力、过拟合、欠拟合、不收敛、奥卡姆剃刀原则相关推荐

机器学习模型设计准则：“无免费午餐”定理和“奥卡姆剃刀”原则
转载:机器学习模型设计准则:"无免费午餐"定理和"奥卡姆剃刀"原则好好看看,你会有观念上的收获的(*^▽^*) 上学时你一定过学习新知识的经历:首先要结合老师 ...
机器学习学习记录2：归纳偏好（奥卡姆剃刀原则和NFL定理）
定义对于相同的训练样本,不同学习算法会产生不同的模型,决定其产生模型的,是学习算法本身的"偏好".此处,书中引入"归纳偏好"的概念: 机器学习算法在学习过程中 ...
什么是，泛化能力，过拟合，欠拟合，不收敛，奥卡姆剃刀？
我们在这里介绍几个机器学习中经常可以听到的几个名词,他们就是泛化能力,欠拟合,过拟合,不收敛和奥卡姆剃刀原则. 泛化能力(generalization ability)是指一个机器学习算法对于没有见过 ...
机器学习强基计划0-4：通俗理解奥卡姆剃刀与没有免费午餐定理
目录 0 写在前面 1 奥卡姆剃刀原则 2 天下没有免费的午餐 3 丑小鸭定理 0 写在前面机器学习强基计划聚焦深度和广度,加深对机器学习模型的理解与应用."深"在详细推导算法模 ...
机器学习--过度拟合欠拟合
过度拟合(overfitting)是指数据模型在训练集里表现非常满意,但是一旦应用到真实业务实践时,效果大打折扣:换成学术化语言描述,就是模型对样本数据拟合非常好,但是对于样本数据外的应用数据,拟合效 ...
yolov5 过拟合欠拟合
yolov5训练完模型以后发现对测试图片的识别效果不好. 那么这个时候该怎么办呢? 是过拟合还是欠拟合了呢? 怎么判断呢? 欠拟合机器学习中一个重要的话题便是模型的泛化能力,泛化能力强的模型才是好 ...
31,32,33_过拟合、欠拟合的概念、L2正则化，Pytorch过拟合欠拟合，交叉验证-Train-Val-Test划分，划分训练集和测试集，K-fold,Regularization
1.26.过拟合.欠拟合及其解决方案 1.26.1.过拟合.欠拟合的概念 1.26.1.1.训练误差和泛化误差 1.26.1.2.验证数据集与K-fold验证 1.26.1.3.过拟合和欠拟合 1.2 ...
06 回归算法 - 损失函数、过拟合欠拟合
== 损失函数 == 损失函数是衡量一个模型好坏的指标,一般来说损失函数的值越小越好. 0~1损失函数: J(θ)=$begin{cases} 1,Y≠f(X)\ 0,Y=f(X)\ end{case ...
奥卡姆剃刀是什么？机器学习实践中那些学习模型或者那些评估指标践行了这一理论？
奥卡姆剃刀是什么?机器学习实践中那些学习模型或者那些评估指标践行了这一理论? 奥卡姆剃刀:无无必要,勿增实体. 奥卡姆剃刀原理应用于模型选择时变为以下想法:在所有可能选择的模型中,能够很好地解释已知数 ...
机器学习——“奥卡姆剃刀”原理
百科:切勿浪费较多东西去做,用较少的东西,同样可以做好的事情." 简单性原则 (1)在机器学习中选择算法时,其含义是:在其他条件一样的情况下,选择简单的那个. (2)李航<统计 ...

【机器学习基础】泛化能力、过拟合、欠拟合、不收敛、奥卡姆剃刀原则

【机器学习基础】泛化能力、过拟合、欠拟合、不收敛、奥卡姆剃刀原则相关推荐

最新文章

热门文章