数据挖掘简介及学习路径介绍

1.数据挖掘经典案例

1、预测未来一段时间用户是否会流失
2、某个促销活动用户是否会响应参加
3、评估用户信用度是好还是差
4、细分现有的目标市场
5、对现有客户群进行群体细分
6、提升商品销售及交叉销售
7、一群用户购买了很多商品之后，哪些商品同时购买的几率比较高
8、预测未来的销量
9、天气预报中预测明天的气温是怎样的
10、国家的年底规划中，预测明年的GDP增长率是怎样的
数据挖掘要做的就是把上述类似的商业问题转化为数据挖掘问题

2.数据挖掘问题分类

分类问题
促销活动响应，评估用户度都属于数据挖掘的分类问题，常见的分类方法:决策树、贝叶斯、KNN、支持向量机、神经网络和逻辑回归等。
聚类问题
细分市场，细分客户群体都属于数据挖掘的聚类问题，常见的聚类算法：划分聚类、层次聚类、密度聚类、网格聚类、基于模型聚类等。
关联问题
交叉销售问题等属于关联问题，关联分析也叫购物篮分析，常见的关联分析算法：Aprior算法、Carma算法，序列算法等。
预测问题
通常，预测是通过分类或估值起作用的其目的是对未来未知变量的预测，常用的方法：简单线性回归分析、多重线性回归分析、时间序列等。

3.数据挖掘过程

确定业务对象
清晰地定义出业务问题,认清数据挖掘的目的是数据挖掘的重要一步.挖掘的最后结构是不可预测的,但要探索的问题应是有预见的,为了数据挖掘而数据挖掘则带有盲目性,是不会成功的.
数据准备
1)、数据的选择
搜索所有与业务对象有关的内部和外部数据信息,并从中选择出适用于数据挖掘应用的数据.
2)、数据的预处理
研究数据的质量,为进一步的分析作准备.并确定将要进行的挖掘操作的类型.
3)、数据的转换
将数据转换成一个分析模型.这个分析模型是针对挖掘算法建立的.建立一个真正适合挖掘算法的分析模型是数据挖掘成功的关键.
数据挖掘
对所得到的经过转换的数据进行挖掘.除了完善和选择合适的挖掘算法外,其余一切工作都能自动地完成.
结果分析
解释并评估结果.其使用的分析方法一般应作数据挖掘操作而定,通常会用到可视化技术.
知识的同化
将分析所得到的知识集成到业务信息系统的组织结构中去.

4.如何学习数据挖掘

一、用何种工具实操数据挖掘

达到理解入门层次
了解统计学和数据库即可
达到初级职场应用层次
数据库＋统计学＋SPSS（也可以是SPSS代替软件）
达到中级职场应用层次
SAS或R
达到数据挖掘师层次
SAS或R＋Python(或其他编程语言)

二、利用Python学习数据挖掘

Pandas库的操作
Panda是数据分析特别重要的一个库，我们要掌握以下三点：
1）pandas 分组计算；
2）pandas 索引与多重索引；
索引比较难，但是却是非常重要的
3）pandas 多表操作与数据透视表
numpy数值计算
numpy数据计算主要的应用是在数据挖掘，对于以后的机器学习，深度学习，这也是一个必须掌握的库，我们要掌握以下内容：
1）Numpy array理解；
2）数组索引操作；
3）数组计算；
4）Broadcasting(线性代数里面的知识)
数据可视化－matplotlib与seaborn
1）Matplotib语法。
2）seaborn可视化工具的使用
3）pandas绘图功能
数据挖掘入门
这部分是最难也是最有意思的一部分，要掌握以下几个部分：
1）机器学习的定义
2）代价函数的定义
3）Train/Test/Validate
4) Overfitting的定义与避免方法
数据挖掘算法
最简单的，最核心的，最常用的算法：
1）最小二乘算法；2）梯度下降；
3）向量化；4）极大似然估计；
5）Logistic Regression；6) Decision Tree；7) RandomForesr；8) XGBoost
数据挖掘实战
通过机器学习里面最著名的库scikit-learn来进行模型的理解

数据挖掘简介及学习路径介绍相关推荐

Python：Python语言的简介(语言特点/pyc介绍/Python版本语言兼容问题(python2 VS Python3))、安装、学习路线(数据分析/机器学习/网页爬等编程案例分析)之详细攻略
Python:Python语言的简介(语言特点/pyc介绍/Python版本语言兼容问题(python2 VS Python3)).安装.学习路线(数据分析/机器学习/网页爬等编程案例分析)之详细攻略 ...
【Python数据挖掘】数据挖掘简介及Jupyter notebook操作介绍（图文解释超详细）
需要完整PPT请点赞关注收藏后评论区留言并且私信~~~ 一.数据挖掘简介面对大量的数据,迫使人们不断寻找新的工具,对规律进行探索,为决策提供有价值的信息.数据挖掘有助于发现趋势,揭示已知的事实,预测 ...
FEC介绍（五）— RS编解码学习路径总结
前提:因项目需要,需要用代码实现RS编解码过程.在基本上算是小白的情况下,按照如下路径学习之后,用代码实现了RS编解码过程.需要说明的是,这个学习路径仅针对工程技术人员. 1.链接:两种丢包处理策略: ...
2019全新大数据系统学习路径！
2019全新大数据系统学习路径! 很多初学者,对大数据的概念都是模糊不清的,大数据是什么,能做什么,学的时候,该按照什么线路去学习,学完往哪方面发展,想深入了解,想学习的同学欢迎加入大数据学习qq群: ...
数据科学的完整学习路径—Python版
从Python菜鸟到Python Kaggler的旅程(译注:Kaggle是一个数据建模和数据分析竞赛平台) 假如你想成为一个数据科学家,或者已经是数据科学家的你想扩展你的技能,那么你已经来对地方了. ...
OpenResty简介及学习笔记
OpenResty简介及学习笔记摘要简介一.OpenResty综述二.指令说明: *_by_lua *_by_lua_block {lua_script} *_by_lua_file 三.登陆 ...
关于Python爬虫，一条高效的学习路径
数据是创造和决策的原材料,高质量的数据都价值不菲.而利用爬虫,我们可以获取大量的价值数据,经分析可以发挥巨大的价值,比如: 豆瓣.知乎:爬取优质答案,筛选出各话题下热门内容,探索用户的舆论导向. 淘宝 ...
eBPF 学习路径总结
BPF 学习路径总结 • Feiskyhttps://feisky.xyz/posts/2021-01-06-ebpf-learn-path/ 目录 1. 为什么要学习 BPF 2. BPF 应该怎么 ...
SQL Server数据挖掘简介
Prediction, is it a new thing for you? You won't believe you are predicting from the bed to the offi ...
机器学习很难上手和提升？你只差一条学习路径！
拥抱变化从网易云音乐的歌单.亚马逊的商品到抖音的短视频,机器学习主导的推荐系统改变了用户浏览习惯:iphone x 在刘海中祭出3D结构光,人脸识别AI便在移动终端迅速蔓延-- 自从Alpha围棋占 ...