消极学习与积极学习

1. 积极学习(Eager Learning)

这种学习方式是指在进行某种判断（例如，确定一个点的分类或者回归中确定某个点对应的函数值）之前，先利用训练数据进行训练得到一个目标函数，待需要时就只利用训练好的函数进行决策，显然这是一种一劳永逸的方法，SVM就属于这种学习方式。

2. 消极学习(Lazy Learning)

这种学习方式指不是根据样本建立一般化的目标函数并确定其参数，而是简单地把训练样本存储起来，直到需要分类新的实例时才分析其与所存储样例的关系，据此确定新实例的目标函数值。也就是说这种学习方式只有到了需要决策时才会利用已有数据进行决策，而在这之前不会经历 Eager Learning所拥有的训练过程。KNN就属于这种学习方式。

3. 比较

• Eager Learning考虑到了所有训练样本，说明它是一个全局的近似，虽然它需要耗费训练时间，但它的决策时间基本为0.
• Lazy Learning在决策时虽然需要计算所有样本与查询点的距离，但是在真正做决策时却只用了局部的几个训练数据，所以它是一个局部的近似，然而虽然不需要训练，它的复杂度还是需要 O(n),n 是训练样本的个数。由于每次决策都需要与每一个训练样本求距离，这引出了Lazy Learning的缺点：(1)需要的存储空间比较大 (2)决策过程比较慢。

4. 典型算法

• 积极学习方法:SVM;Find-S算法;候选消除算法;决策树;人工神经网络;贝叶斯方法;
• 消极学习方法:KNN;局部加权回归;基于案例的推理;

数据挖掘总结之消极学习与积极学习相关推荐

简单理解：人工智能、数据挖掘、模式识别、机器学习、深度学习
出于学习的需要,对人工智能领悟几个很重要的概念(人工智能.数据挖掘.模式识别.机器学习.深度学习)做了简单的总结.不一定很全,只是总结了几者主要的区别. 人工智能是相对于人大脑智能以外,机器展示出来的 ...
python学习路线-2020年 Python学习路线及学习目标规划拿走不谢!
找不到完整的学习路线?小编分享2020年Python学习路线及学习目标规划拿走不谢,Python作为今年来特别受欢迎的编程语言,是AI时代头牌语言AI领域的敲门砖,Python已经入驻小学生教材,将来 ...
自学机器学习、深度学习、人工智能学习资源推大聚合
想要解决如何自学机器学习.深度学习和人工智能这一问题,首先要了解三个概念以及它们之间的关系. 人工智能:人工智能英文缩写为AI,它是研究.开发用于模拟.延伸和扩展人的智能的理论.方法.技术及应用系统的 ...
python基于水色图像的水质评价_零基础学习Python的学习路线及教程
什么是Python? 在过去的2017年里,Python开发者在全球快速增长,国内小伙伴学习 Python 的热情一路高涨.同时,PYPL发布7月编程语言指数榜,Python 在今年5月首次超越 Ja ...
我们如何学习：学会学习再学习
我们如何学习:学会学习再学习学习方法:不同科目不同方法人和人学习能力的差距在哪里? 快速学习:我不是会得多,只是学得快学习动力:培养啥耐心呀,你真的有欲望要做的事,八头牛都拉不住你激发好奇心: ...
基于深度学习下的稳定学习究竟是什么？因果学习？迁移学习？之一
机器学习 | 稳定学习 | DGBR 深度学习 | 迁移学习 | 因果学习众所周知,深度学习研究是机器学习领域中一个重要研究方向,主要采用数据分析.数据挖掘.高性能计算等技术,其对服务器的要求极其严 ...
机器学习、深度学习、神经网络学习资料集合(开发必备)
最近整理了下AI方面的学习资料,包含了学习社区.入门教程.汲取学习.深度学习.自然语言处理.计算机视觉.数据分析.面试和书籍等方面的知识.在这里分享给大家,欢迎大家点赞收藏. 学习社区神力AI(MA ...
如何学习Hadoop，学习Hadoop要学什么？怎么学？
如何学习Hadoop,学习Hadoop要学什么?怎么学? 第一章:初识Hadoop 第二章:更高效的WordCount 第三章:把别处的数据搞到Hadoop上第四章:把Hadoop上的数据搞到别处去 ...
【阅读笔记】联邦学习实战——联邦学习攻防实战
联邦学习实战--联邦学习攻防实战前言 1. 后门攻击 1.1 问题定义 1.2 后门攻击策略 1.3 详细实现 2. 差分隐私 2.1 集中式差分隐私 2.2 联邦差分隐私 2.3 详细实现 3. ...

数据挖掘总结之消极学习与积极学习