数据挖掘的最佳学习清单
本文来自:陈旸的专栏《数据分析实战 45 讲》
数据挖掘,从知识清单开始
我列了一个数据挖掘的知识清单,分别是数据挖掘的基本流程、十大算法和数学原理,以此来开启我们的学习之旅。
以下是我对这篇文章的总结图,要是没时间的话,可以先看这张“数据挖掘的知识清单”。
数据挖掘的基本流程
数据挖掘的过程可以分成以下 6 个步骤:
1. 商业理解:数据挖掘不是我们的目的,我们的目的是更好地帮助业务,所以第一步我们要从商业的角度理解项目需求,在这个基础上,再对数据挖掘的目标进行定义。
2. 数据理解:尝试收集部分数据,然后对数据进行探索,包括数据描述、数据质量验证等。这有助于你对收集的数据有个初步的认知。
3. 数据准备:开始收集数据,并对数据进行清洗、数据集成等操作,完成数据挖掘前的准备工作。
4. 模型建立:选择和应用各种数据挖掘模型,并进行优化,以便得到更好的分类结果。
5. 模型评估:对模型进行评价,并检查构建模型的每个步骤,确认模型是否实现了预定的商业目标。
6. 上线发布:模型的作用是从数据中找到金矿,也就是我们所说的“知识”,获得的知识需要转化成用户可以使用的方式,呈现的形式可以是一份报告,也可以是实现一个比较复杂的、可重复的数据挖掘过程。数据挖掘结果如果是日常运营的一部分,那么后续的监控和维护就会变得重要。
数据挖掘的十大算法
为了进行数据挖掘任务,数据科学家们提出了各种模型,在众多的数据挖掘模型中,国际权威的学术组织 ICDM (the IEEE International Conference on Data Mining)评选出了十大经典的算法。
按照不同的目的,我可以将这些算法分成四类,以便你更好的理解:
丨分类算法:C4.5,朴素贝叶斯(Naive Bayes),SVM,KNN,Adaboost,CART
丨聚类算法:K-Means,EM
丨关联分析:Apriori
丨连接分析:PageRank
1. C4.5
C4.5 算法是得票最高的算法,可以说是十大算法之首。C4.5 是决策树的算法,它创造性地在决策树构造过程中就进行了剪枝,并且可以处理连续的属性,也能对不完整的数据进行处理。它可以说是决策树分类中,具有里程碑式意义的算法。
2. 朴素贝叶斯(Naive Bayes)
朴素贝叶斯模型是基于概率论的原理,它的思想是这样的:对于给出的未知物体想要进行分类,就需要求解在这个未知物体出现的条件下各个类别出现的概率,哪个最大,就认为这个未知物体属于哪个分类。
3. SVM
SVM 的中文叫支持向量机,英文是 Support Vector Machine,简称 SVM。SVM 在训练中建立了一个超平面的分类模型。如果你对超平面不理解,没有关系,我在后面的算法篇会给你进行介绍。
4. KNN
KNN 也叫 K 最近邻算法,英文是 K-Nearest Neighbor。所谓 K 近邻,就是每个样本都可以用它最接近的 K 个邻居来代表。如果一个样本,它的 K 个最接近的邻居都属于分类 A,那么这个样本也属于分类 A。
5. AdaBoost
Adaboost 在训练中建立了一个联合的分类模型。boost 在英文中代表提升的意思,所以 Adaboost 是个构建分类器的提升算法。它可以让我们多个弱的分类器组成一个强的分类器,所以 Adaboost 也是一个常用的分类算法。
6. CART
CART 代表分类和回归树,英文是 Classification and Regression Trees。像英文一样,它构建了两棵树:一颗是分类树,另一个是回归树。和 C4.5 一样,它是一个决策树学习方法。
7. Apriori
Apriori 是一种挖掘关联规则(association rules)的算法,它通过挖掘频繁项集(frequent item sets)来揭示物品之间的关联关系,被广泛应用到商业挖掘和网络安全等领域中。频繁项集是指经常出现在一起的物品的集合,关联规则暗示着两种物品之间可能存在很强的关系。
8. K-Means
K-Means 算法是一个聚类算法。你可以这么理解,最终我想把物体划分成 K 类。假设每个类别里面,都有个“中心点”,即意见领袖,它是这个类别的核心。现在我有一个新点要归类,这时候就只要计算这个新点与 K 个中心点的距离,距离哪个中心点近,就变成了哪个类别。
9. EM
EM 算法也叫最大期望算法,是求参数的最大似然估计的一种方法。原理是这样的:假设我们想要评估参数 A 和参数 B,在开始状态下二者都是未知的,并且知道了 A 的信息就可以得到 B 的信息,反过来知道了 B 也就得到了 A。可以考虑首先赋予 A 某个初值,以此得到 B 的估值,然后从 B 的估值出发,重新估计 A 的取值,这个过程一直持续到收敛为止。
EM 算法经常用于聚类和机器学习领域中。
10. PageRank
PageRank 起源于论文影响力的计算方式,如果一篇文论被引入的次数越多,就代表这篇论文的影响力越强。同样 PageRank 被 Google 创造性地应用到了网页权重的计算中:当一个页面链出的页面越多,说明这个页面的“参考文献”越多,当这个页面被链入的频率越高,说明这个页面被引用的次数越高。基于这个原理,我们可以得到网站的权重划分。
算法可以说是数据挖掘的灵魂,也是最精华的部分。这 10 个经典算法在整个数据挖掘领域中的得票最高的,后面的一些其他算法也基本上都是在这个基础上进行改进和创新。今天你先对十大算法有一个初步的了解,你只需要做到心中有数就可以了,具体内容不理解没有关系,后面我会详细给你进行讲解。
数据分析学习推荐书单
数据挖掘的最佳学习清单相关推荐
- 如何用深度学习做自然语言处理?这里有份最佳实践清单
如何用深度学习做自然语言处理?这里有份最佳实践清单 By 机器之心2017年7月26日 14:16 对于如何使用深度学习进行自然语言处理,本文作者 Sebastian Ruder 给出了一份详细的最佳 ...
- 数据分析基础篇16讲之02学习数据挖掘的最佳路径是什么?
02 学习数据挖掘的最佳路径是什么? 数据挖掘的基本流程分为哪六个步骤? 1. 商业理解:我们要知道数据挖掘不是我们的目的,我们的目的是更好地理解业务,帮助业务,所以首先应从商业角度去理解项目需求,从 ...
- 2023年最新人工智能入门指南(学习清单)
ChatGPT最近很火,为了帮助想入门人工智能的小伙伴们准备了一份超详细的学习清单 前言 为帮助大家快速入门机器学习.深度学习,根据我自己多年的学习和工作经验,总结了这份保姆级的学习清单,让大家在学习 ...
- python学习路线-Python最佳学习路线
Python最佳学习路线 如何学习Python 最近开始整理python的资料,会陆续放到博客中存档.找了几个qq群,其中有一个群78486745(点击进群).后面就没怎么加群了,还是需要看官方文档为 ...
- 自学python清单-我的2018学习清单
作为一个开发人员,我们最大的挑战就是保持自己了解新的技术.技术变化很快,你大概每两年就会看到一个新版本的编程语言和框架. 就拿2017年来说,AR.VR.区块链.人工智能等等已经扑面而来了.除了这些离 ...
- 机器学习如何选择模型 机器学习与数据挖掘区别 深度学习科普
今天看到这篇文章里面提到如何选择模型,觉得非常好,单独写在这里. 更多的机器学习实战可以看这篇文章:http://www.cnblogs.com/charlesblc/p/6159187.html 另 ...
- 一天中的最佳学习时间
一天中的最佳学习时间 一个人在一天的不同时期,大脑活动的效率是不同的,学习时间的最佳选择应该是一天中大脑最清醒的时侯. 生理学家研究认为,一天之内有4个学习的高效期.如果你使用得当,可以轻松自如地掌握 ...
- 针对新人的:Python最佳学习路线
原文作者:佛山小程序员 原文链接:https://blog.csdn.net/weixin_44192923/article/details/86515020 Python最佳学习路线 最近开始整理p ...
- HBase全网最佳学习资料汇总
HBase全网最佳学习资料汇总 摘要: HBase这几年在国内使用的越来越广泛,在一定规模的企业中几乎是必备存储引擎,互联网企业阿里巴巴.百度.腾讯.京东.小米都有数千台的HBase集群,中国电信的话 ...
最新文章
- 《机器人爱好者(第2辑)》——《惑星历险》中的Robby
- PHP随手记1--内置函数date
- cannot find module 'cordova-common'
- Hyperledger Fabric 智能合约实战 (5) go语言开发
- 【深度学习】揭秘2021抖音和快手APP图像修复背后的核心技术,毫无ps痕迹
- express中response.js 提供的sendFile方法的调试
- 下载OneDrive共享的数据集
- 数据结构与算法:十大排序算法之冒泡排序
- 111. Minimum Depth of Binary Tree
- 深入理解jvm虚拟机(面试复习)
- 关于lisp的一些资源
- 《货币金融学》期末复习题
- SU插件情报局 | Vertex Tools 顶点编辑工具详解(附插件获取)
- 人工智能实验——八数码难题
- python差异性分析_差异性分析
- 4.4.4系统不用ROOT激活xposed框架流程
- [狗子的PM之路]PM的数据分析思路
- 航天器导航属于计算机应用的哪个领域,计算机应用基础作业1含答案
- Punte-多功能-wordpress免费主题模板下载
- MySQL查询时不加order by的时候默认排序规则是什么?