机器学习中的分类模型和回归模型

2024-05-10 05:13:35

机器学习中的分类模型

1.KNN

2.感知机

3.朴素贝叶斯法

4.决策树

5.逻辑斯谛回归模型

6.SVM

7.AdaBoost

8.随机森林

9.贝叶斯网络

10.神经网络

机器学习中的回归模型

1.线性回归

2.多项式回归

3.岭回归(Ridge Regression)

岭回归(英文名：ridge regression, Tikhonov regularization)是一种专用于共线性数据分析的有偏估计回归方法，实质上是一种改良的最小二乘估计法，通过放弃最小二乘法的无偏性，以损失部分信息、降低精度为代价获得回归系数更为符合实际、更可靠的回归方法，对病态数据的拟合要强于最小二乘法。

3.1 为什么会有岭回归？

总结起来看，主要有两个原因：
①当样本少于特征（数据点少于变量个数），输入数据的矩阵x非满秩矩阵（即|xTx|≈0），求逆的时候会出问题；

②当样本之间存在共线性（也就是强相关性），普通的最小二乘法得到到的回归系数估计得方差很大，会导致估计值很不稳定；

岭回归是对最小二乘回归的一种补充，它损失了无偏性，来换取高的数值稳定性，从而得到较高的计算精度。

4.Lasso回归

Lasso回归和岭回归类似，也是在损失函数后面加上正则化项，不过不同于岭回归，Lasso回归添加的正则项是所有参数w的绝对值之和，也即是L1范数；而岭回归添加的则是所有参数的平方和，也即是L2范数。

5.弹性网络

弹性网络是结合了岭回归和Lasso回归，由两者加权平均所得。据介绍这种方法在特征数大于训练集样本数或有些特征之间高度相关时比Lasso更加稳定。其代价函数为：

6.GBDT

7.CART

8.XGBoost

机器学习中的分类模型和回归模型相关推荐

机器学习第四章之逻辑回归模型
逻辑回归模型 4.1 逻辑回归模型算法原理 4.1.1 逻辑回归模型的数学原理(了解) 4.1.2 逻辑回归模型的代码实现(重要) 4.1.3 逻辑回归模型的深入理解 4.2 案例实战 - 股票客户流 ...
机器学习中的分类模型整理
概要机器学习中的分类模型有逻辑回归.朴素贝叶斯.决策树.支持向量机.随机森林.梯度提升树等分类算法,不仅可以进行二分类,还可以进行多分类. 一.逻辑回归逻辑回归的本质就由线性回归演变而来,是一个线 ...
R语言使用R基础安装中的glm函数构建乳腺癌二分类预测逻辑回归模型、分类预测器（分类变量）被自动替换为一组虚拟编码变量、summary函数查看检查模型、使用table函数计算混淆矩阵评估分类模型性能
R语言使用R基础安装中的glm函数构建乳腺癌二分类预测逻辑回归模型(Logistic regression).分类预测器(分类变量)被自动替换为一组虚拟编码变量.summary函数查看检查模型.使用t ...
机器学习中的分类与回归问题
输入变量与输出变量均为连续变量的预测问题是回归问题: 输出变量为有限个离散变量的预测问题成为分类问题: 其实回归问题和分类问题的本质一样,都是针对一个输入做出一个输出预测,其区别在于输出变量的类型. ...
02.PyTorch基础操作(3-1 机器学习中的分类与回归问题-机器学习基本构成元素)
@[TOC](02.PyTorch基础操作(3-1 机器学习中的分类与回归问题-机器学习基本构成元素)) 来自慕课网一.3-1 机器学习中的分类与回归问题-机器学习基本构成元素
机器学习：多分类的logistic回归
机器学习:多分类的logistic回归 Multi-Class Logistic(多分类的Logistic问题) 它适用于那些类别数大于2的分类问题,并且在分类结果中,样本x不是一定只属于某一个类可以 ...
机器学习中的分类算法
机器学习中的分类算法机器学习,模式识别中很重要的一环,就是分类,因为计算机其实无法深层次地理解文字图片目标的意思,只能回答是或者不是.当然现在卷积神经网络正在希望计算机能够看懂东西,这次我们先来看一 ...
炼数成金数据分析课程---16、机器学习中的分类算法（交叉内容，后面要重点看）...
炼数成金数据分析课程---16.机器学习中的分类算法(交叉内容,后面要重点看) 一.总结一句话总结: 大纲+实例快速学习法主要讲解常用分类算法(如Knn.决策树.贝叶斯分类器等)的原理及pytho ...
推荐系统 | 基础推荐模型 | 逻辑回归模型 | LS-PLM | PyTorch实现
基础推荐模型--传送门: 推荐系统 | 基础推荐模型 | 协同过滤 | UserCF与ItemCF的Python实现及优化推荐系统 | 基础推荐模型 | 矩阵分解模型 | 隐语义模型 | PyTor ...
R语言用Garch模型和回归模型对股票价格分析
原文链接:http://tecdat.cn/?p=18310 为了找出影响价格波动的主要因素,我们使用逐步回归法来剔除一些对于应变量即价格影响很小的自变量剔除出我们的模型(点击文末"阅读原文 ...

最新文章

热门文章