机器学习-算法背后的理论与优化(part3)--经验风险与泛化误差概述

学习笔记，仅供参考，有错必究

文章目录

经验风险与泛化误差概述
- 经验风险
- 泛化误差
- 欠拟合和过拟合
- 训练集、验证集、测试集

经验风险与泛化误差概述

监督学习，尤其是其中一部分传统的分类问题，能够进一步泛化为一个统一的模型，称为基于分类界限的结构风险最小模型。

要深入解读结构风险最小，就需要理解机器学习中经典分类问题的统计学习基石，就是经验风险最小。本质上，结构风险最小模型就是经验风险最小和正则化的组合。有了结构风险最小，我们就能进一步统一逻辑回归、广义线性模型之外分类算法，包括支持向量机、AdaBoost算法等。

大家已经很直观知道，分类的算法并不唯一，如有逻辑回归和支持向量机算法等。那么就有个很直观的问题，那就是哪个算法更好。在比较算法好坏的时候，有两种模式，一种脱离具体问题，绝对的比较算法。另外一种不脱离具体问题，相对的比较算法。我们在历史上学过一个道理，就是不能脱离历史环境来评价一个人物的好坏。其实，这里也有类似的结论，一个算法的环境或者上下文，就是针对特定的具体问题，即不能

机器学习-算法背后的理论与优化(part3)--经验风险与泛化误差概述相关推荐

机器学习-算法背后的理论与优化(part5)--结构风险最小(下)
学习笔记,仅供参考,有错必纠参考自:机器学习-算法背后的理论和优化: 文章目录结构风险最小(下) 回归的正则化 L 2 L_2 L
机器学习-算法背后的理论与优化(part2)--广义线性模型
学习笔记,仅供参考,有错必纠参考自:机器学习-算法背后的理论和优化: 广义线性模型广义线性模型的定义对于第一个问题,后面的分析中会看到在一定的假设下选择Sigrnoid函数是一种必然. 关于第二 ...
机器学习-算法背后的理论与优化(part1)--从线性回归到逻辑回归
学习笔记,仅供参考,有错必纠参考自:机器学习-算法背后的理论和优化: 从线性回归到逻辑回归线性回归估算的是一个连续变量的条件期望: E ( y ∣ x ) = w T x (1) E(y|x)=w ...
机器学习-算法背后的理论与优化(part7)--随机梯度下降法概述
学习笔记,仅供参考,有错必究随机梯度下降法概述机器学习场景算法模型和损失函数一个有监督学习算法或模型实质上是在拟合一个预测函数侧或者称为假设函数,其形式固定但参数 w ∈ R d w \in ...
机器学习-算法背后的理论与优化(part6)--正则化的优缺点
学习笔记,仅供参考,有错必究正则化的优缺点前面谈到了大量正则化带来的好处,包括让算法模型尽快收敛稳定.作为特征选择的手段.更好的防止过拟合等. 但是,某些正则化也会带来计算复杂性.以经典的回归正则 ...
机器学习-算法背后的理论与优化(part4)--结构风险最小(上)
学习笔记,仅供参考,有错必纠文章目录结构风险最小(上) 经验风险最小和过拟合结构风险最小和正则化结构风险最小(上) 经验风险没有考虑模型学习能力和数据的匹配度.在讨论泛化误差时,若模型学习能力 ...
常见机器学习算法背后的数学
来源:DeepHub IMBA 本文约2300字,建议阅读5分钟. 在本文中,我们将介绍一些机器学习算法的功能,以及在这些算法中实现的有助于学习过程的一些数学方程. 不同的机器学习算法是如何从数据中学 ...
机器学习算法背后的数学原理
不同的机器学习算法是如何从数据中学习并预测未知数据的呢? 机器学习算法的设计让它们从经验中学习,当它们获取越来越多的数据时,性能也会越来越高.每种算法都有自己学习和预测数据的思路.在本文中,我们将 ...
全网最全：机器学习算法模型自动超参数优化方法汇总
什么是超参数? 学习器模型中一般有两类参数,一类是可以从数据中学习估计得到,我们称为参数(Parameter).还有一类参数时无法从数据中估计,只能靠人的经验进行设计指定,我们称为超参数(Hyper ...

机器学习-算法背后的理论与优化(part3)--经验风险与泛化误差概述

文章目录

经验风险与泛化误差概述

机器学习-算法背后的理论与优化(part3)--经验风险与泛化误差概述相关推荐

最新文章

热门文章