ML模型特点以及区别

https://blog.csdn.net/b285795298/article/details/81977271

线性回归

优点：
1、简单，运算速度块
2、可以根据系数对变量做出解释
缺点：
1、对异常值敏感

LR

优点：
1、形式简单，可解释性好
2、模型效果好
3、训练速度快
4、资源占用少，尤其是内存
5、方便输出结果的调整（人工设定阈值）
缺点：
1、准确率可能并不是很高
2、很难处理数据不平衡的问题
3、处理非线性数据麻烦
4、LR本身无法筛选特征
5、对异常值敏感

SVM

优点：
1、svm再中小量样本规模的时候容易得到数据和特征之间的非线性关系，可以避免使用神经网络结构选择和局部极小值问题，可解释性强，可以解决高维问题。
2、抗噪能力强
缺点：
1、对缺失数据敏感，对非线性问题没有通用的解决方案，核函数的正确选择不容易，计算复杂度高，不使用于大规模的数据。

LR和SVM的区别：

相同点：
1.都是分类算法；
2.都是监督算法；
3.都是判别式模型；
4.不考虑核函数，都是线性分类算法；

不同点：
1、LR采用log损失，SVM采用合页损失，前者基于概率论原理，后者基于几何间隔最大化原理；
2、LR对异常值敏感，SVM抗噪能力强；reason：（LR考虑所有样本，势必存在异常值的影响，而svm只考虑支持向量。因此lr对于数据不平衡的数据集变现也不好，应先做数据平衡。）
3、计算的复杂度不同，对于海量数据，svm效率低，lr效率高；（当样本较少，特征维数较低时，SVM和LR的运行时间均比较短，SVM较短一些。准确率的话，LR明显比SVM要高。当样本稍微增加些时（中小规模表现好），SVM运行时间开始增长，但是准确率赶超了LR。SVM时间虽长，但在接收范围内。当数据量增长到20000时，特征维数增长到200时，SVM的运行时间剧烈增加，远远超过了LR的运行时间。但是准确率却和LR相差无几。(这其中主要原因是大量非支持向量参与计算,造成SVM的二次规划问题)
4、对非线性问题的处理方式不同，LR主要靠特征构造，必须组合交叉特征，特征离散化。SVM也可以这样，还可以通过kernel(因为只有支持向量参与核计算,计算复杂度不高)。(由于可以利用核函数,。SVM则可以通过对偶求解高效处理。LR则在特征空间维度很高时，表现较差。)
5、SVM的损失函数就自带正则！！！（损失函数中的1/2||w||^2项），这就是为什么SVM是结构风险最小化算法的原因！！！而LR必须另外在损失函数上添加正则项！！！

RF

优点：
1、准确率高；
2、随机性的引入，使RF不易过拟合；
3、随机性的引入，使RF有很好的抗噪能力；
4、能处理很高维度的数据，并且不用做特征选择；
5、既能处理离散数据，也能处理连续性数据，数据集无需规范化；
6、可以得到变量重要性排序；
7、容易实现并行化；
缺点：
1、决策树个数很多时，训练需要的时间和空间较大；
2、解释性差；

GBDT

优点：
1、可以灵活处理各种类型的值，包括连续型和离散型；
2、相对svm，在相对较少的调参时间情况下，预测的准确率也比较高；
3、使用健壮的损失函数，对异常值的鲁棒性非常强；
缺点：
1、弱学习器之间存在依赖关系，难以并行训练。
改进：采用SGBDT来达到部分并行。

Bagging和Boosting

区别：
1、样本选择：Bagging采用的是Bootstrap随机有放回抽样；而Boosting每一轮的训练集是不变的，改变的只是每一个样本的权重；
2、样本权重：Bagging使用的是均匀取样，每个样本权重相等；Boosting根据错误率调整样本权重，错误率越大的样本权重越大；
3、预测函数：Bagging所有的预测函数的权重相等；Boosting中误差越小的预测函数其权重越大；
4、并行计算：Bagging各个预测函数可以并行生成；Boosting各个函数必须按顺序迭代生成。

ML模型特点以及区别相关推荐

非常规解释：分类ML模型的十大模型性能指标
2020-06-21 12:31:00 全文共3574字,预计学习时长11分钟图源:unsplash 本文将带大家了解10个最重要的模型性能指标,这些指标可用于评估分类模型的模型性能.一旦了解了指标 ...
apache beam_Apache Beam ML模型部署
apache beam This blog post builds on the ideas started in three previous blog posts. 这篇博客文章基于之前三篇博 ...
解释任何ML模型？--关于XAI的目标和能；基于梯度的动态RRAM阵列神经形态学习；SARNet：大规模城市点云的语义增强注册；基于加权一致性指数损失的多模式生存模型在鼻咽癌放疗放射性脑病评估中的应用
可解释的机器学习中文标题:解释任何ML模型?–关于XAI的目标和能力英文标题:Explaining Any ML Model? – On Goals and Capabilities of XAI ...
移动应用AI化成新战场？详解苹果最新Core ML模型构建基于机器学习的智能应用...
Google刚刚息鼓,苹果又燃战火!这一战,来自移动应用的AI化之争. 近日,苹果发布专为移动端优化的Core ML后,移动开发者对此的需求到底有多强烈?去年大获成功的AI应用Prisma又能告诉我们 ...
几行代码搞定ML模型，低代码机器学习Python库正式开源
公众号关注 "视学算法" 设为 "星标",消息即可送达! 机器之心报道机器之心编辑部 PyCaret 库支持在「低代码」环境中训练和部署有监督以及无监督的机器 ...
太赞了！NumPy 手写所有主流 ML 模型，由普林斯顿博士后 David Bourgin打造的史上最强机器学习基石项目！...
关注上方"深度学习技术前沿",选择"星标公众号", 资源干货,第一时间送达! 用 NumPy 手写所有主流 ML 模型,普林斯顿博士后 David Bourgi ...
NumPy 手写所有主流 ML 模型，由普林斯顿博士后 David Bourgin打造的史上最强机器学习基石项目！...
关注上方"深度学习技术前沿",选择"星标公众号", 资源干货,第一时间送达! 用 NumPy 手写所有主流 ML 模型,普林斯顿博士后 David Bourgi ...
AutoML大提速，谷歌开源自动化寻找最优ML模型新平台
为了帮助研究者自动.高效地开发最佳机器学习模型,谷歌开源了一个不针对特定领域的 AutoML 平台.该平台基于 TensorFlow 构建,非常灵活,既可以找出最适合给定数据集和问题的架构,也能够最小 ...
六条规则让你的ML模型部署的更快
双语原文:六点规则让你的ML模型部署的更快英语原文:Six Rules for Deploying your Machine Learning Models Faster 翻译:雷锋字幕组(yhfw ...

ML模型特点以及区别

线性回归

LR

SVM

LR和SVM的区别：

RF

GBDT

Bagging和Boosting

ML模型特点以及区别相关推荐

最新文章

热门文章