【扫盲】机器学习中模型的容量、表示容量、有效容量

我们训练机器学习模型时，可以选择训练集来拟合目标函数，降低训练误差，并缩小训练误差和测试误差的差距（欠拟合和过拟合）。

模型的容量(capacity)从本质上说是描述了整个模型的拟合能力的大小。容量低的模型可能在训练集上就会很难拟合目标函数，产生而欠拟合；容量高的模型或许会在训练集上可以很好的拟合目标函数，而不具备一定的泛化能力，导致过拟合。

增加模型容量的方法有很多，比如我们使用线性回归函数来拟合一个线性函数，就可以通过增加参数高次幂的方法来增加模型容量，一个5次多项式（包含从1到5次幂以及常数项）的模型就比二次多项式的模型容量要高。但是如果我们要拟合的是一个三次函数，用二次多项式的模型就会导致欠拟合，用5次多项式就可能会导致过拟合。

表示容量(representational capacity)：模型的最大容量。指的是通过调节参数降低训练目标时，学习算法可以从哪些函数族中选择函数。

有效容量(effective capacity)：在实际训练机器学习模型中，从表示容量中选择最优函数是非常困难的，比如我们要拟合一个三次函数，而我们选择的容量中可能包括四次多项式，其实有效容量里是没有四次幂的。实际上我们训练出来的模型只是一个可以大大降低训练误差的函数，并不可能完美，也就说学习算法的有效容量，可能会小于模型的表示容量。

【扫盲】机器学习中模型的容量、表示容量、有效容量相关推荐

机器学习中模型参数和模型超参数分别是什么？有什么区别？
机器学习中模型参数和模型超参数分别是什么?有什么区别? 目录机器学习中模型参数和模型超参数分别是什么?有什么区别?
ML之Validation：机器学习中模型验证方法的简介、代码实现、案例应用之详细攻略
ML之Validation:机器学习中模型验证方法的简介.代码实现.案例应用之详细攻略目录模型验证方法的简介 1.Hold-out验证 2.K-折交叉验证 3.自助重采样模型验证方法的代码实现 ...
机器学习中模型泛化能力和过拟合现象(overfitting)的矛盾、以及其主要缓解方法正则化技术原理初探...
1. 偏差与方差 - 机器学习算法泛化性能分析在一个项目中,我们通过设计和训练得到了一个model,该model的泛化可能很好,也可能不尽如人意,其背后的决定因素是什么呢?或者说我们可以从哪些方面去 ...
python训练模型测试模型_python 机器学习中模型评估和调参
在做数据处理时,需要用到不同的手法,如特征标准化,主成分分析,等等会重复用到某些参数,sklearn中提供了管道,可以一次性的解决该问题先展示先通常的做法 import pandas as pd f ...
机器学习中模型的评估方法
一.回归模型的评估指标描述 metrics方法 Mean Absolute Error(MAE) 平均绝对误差 from sklearn.metrics import mean_absolute_ ...
机器学习中的模型评价、模型选择及算法选择
链客,专为开发者而生,有问必答! 此文章来自区块链技术社区,未经允许拒绝转载. 正确使用模型评估.模型选择和算法选择技术无论是对机器学习学术研究还是工业场景应用都至关重要.本文将对这三个任务的相关技术 ...
机器学习中的数据泄露是什么？构建模型中如何防止数据泄露？正确的方案是什么？如何使用pipeline防止数据泄露？
机器学习中的数据泄露是什么?构建模型中如何防止数据泄露?正确的方案是什么?如何使用pipeline防止数据泄露? 目录
医学假阴性？看看在机器学习中如何用来衡量分类模型的效果（附代码）
来源:数据鸽本文约1500字,建议阅读5分钟. 本篇我们来看下医学假阴性在机器学习中是如何用来衡量预测结果好坏的. 近日来,新冠肺炎核酸检测"假阴性"引起了关注.所谓的假阴性,就 ...
一文读懂机器学习中的模型偏差
一文读懂机器学习中的模型偏差 http://blog.sina.com.cn/s/blog_cfa68e330102yz2c.html 在人工智能(AI)和机器学习(ML)领域,将预测模型参与决策过程 ...

【扫盲】机器学习中模型的容量、表示容量、有效容量

【扫盲】机器学习中模型的容量、表示容量、有效容量相关推荐

最新文章

热门文章