集成学习之如何进行多样性增强

众所周知，对于集成学习的基学习器而言，他们的差异性越大，集成之后的效果就越好，那么，我们怎么增强不同模型的多样性呢？

1.样本扰动：比如Bagging中的自助法就是了，由于生成的不同数据集间有一定的不同，所以导致训练出来的基学习器也有一定的不同。（对于linear、svm、naive_bayes、knn这些对扰动不敏感的基学习算法效果不大）

2.输入扰动：对于那些有非常多的属性，且有大量冗余属性的数据集，我们可以用随机子空间法：从数据集中随机抽取一些属性作为子集，然后，依靠这些子集训练基学习器。（不适合属性较少或冗余属性较少的数据集）

3.输出扰动：比如多分类中，讲多分类任务转化为多个二分类任务，把样本中的标签反转（0—>1, 1—>0）

4.算法参数扰动：我们一般会给模型设置初始参数的，初始的参数不同，训练出来的模型也会不一样，因此我们还可以调这个老得到多个基学习器。（正常我们也是多次选取初始值训练得到多个模型，然后选取效果好的一个，现在只是要把这些效果差一点的模型也利用上，因此不会增加训练时间）

集成学习之如何进行多样性增强相关推荐

集成学习-非成对多样性度量-个人总结
一.引言集成学习:通过构建并结合多个学习器来完成学习任务.一般结构是:先产生一组"个体学习器",再用某种策略将它们结合起来.结合策略主要有平均法.投票法和学习法等. 在集成学习之 ...
区别：强化学习集成学习增强学习规则学习
1.强化学习强化学习是智能体(Agent)以"试错"的方式进行学习,通过与环境进行交互获得的奖赏指导行为,目标是使智能体获得最大的奖赏,强化学习不同于连接主义学习中的监督学习,主 ...
西瓜书习题 - 8.集成学习
1.集成学习 1.下列关于集成学习描述错误的是哪个? 集成学习只能使用若干个相同类型的学习器集成学习使用多个学习器解决问题集成学习在许多比赛中取得了优异的成绩集成学习在英文中是一个外来词 2.下 ...
【机器学习－西瓜书】八、集成学习：结合策略；多样性；总结
推荐阅读: 总结:绝对多数投票法:误差-分歧分解 8.4 结合策略关键词: 平均法:投票法:学习法;硬投票:软投票一开始就说到,集成学习有两个关键,第一,个体学习器:第二,结合策略.对于个体学习器 ...
集成学习多样性度量总结
上一篇博客讲了集成学习中成对的多样性度量,博文链接如下 https://blog.csdn.net/jodie123456/article/details/89341835 在本篇博文中,总结一下非成 ...
机器学习笔记(八)集成学习
8.集成学习 8.1个体与集成集成学习(ansemblelearning)通过构建并结合多个学习器来完成学习任务,也称为多分类器系统(multi-classifiersystem).基于委员会的学习 ...
周志华教授专著《集成学习：基础与算法》上市，豆瓣满分森林书破解AI实践难题...
近年来,机器学习技术的快速发展推动了语音.自然语言处理.机器视觉等多个领域获得巨大进步,也带动了人工智能相关产业的蓬勃发展. 回顾机器学习最近30 年的发展历程,各种学习方法推陈出新.不断演进.但是, ...
【福利】周志华教授专著《集成学习：基础与算法》上市，豆瓣满分森林书破解AI实践难题...
近年来,机器学习技术的快速发展推动了语音.自然语言处理.机器视觉等多个领域获得巨大进步,也带动了人工智能相关产业的蓬勃发展. >>>> 回顾机器学习最近30 年的发展历程,各种 ...
西瓜书+实战+吴恩达机器学习（十一）监督学习之集成学习
文章目录 0. 前言 1. 集成方法 2. 结合策略 2.1. 平均法 2.2. 投票法 2.3. 学习法 3. 多样性度量 4. 多样性增强如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔, ...

集成学习之如何进行多样性增强

集成学习之如何进行多样性增强相关推荐

最新文章

热门文章

集成学习之 如何进行多样性增强

集成学习之 如何进行多样性增强相关推荐

最新文章

热门文章

集成学习之如何进行多样性增强

集成学习之如何进行多样性增强相关推荐