【数据挖掘】数据挖掘简介 ( 6 个常用功能 | 数据挖掘结果判断 | 数据挖掘学习框架

文章目录

I . 数据挖掘功能
II . 数据挖掘结果判断
III . 数据挖掘学习框架
IV . 数据挖掘分类

I . 数据挖掘功能

1 . 概念描述 ( Concept Description ) : 主要进行表征与判断操作 , 概括 , 总结 , 对比数据的特征 ;

如 : 对产品分类 , 对真实世界进行描述 ;

2 . 关联分析 ( Association ) : 分析两个事物的发生的相关性 , 因果性 ;

如 : 尿布与啤酒经常被一起购买 ( 相关性分析 ) ; 银行对申请贷款的人的信用评级进行相关性分析 ;

3 . 分类和预测 ( Classification and Prediction ) : 数据挖掘中的重要部分 , 构造用于描述 / 区分对 未来预测 的分类 / 概念的模型 ;

有监督学习过程 : 分类和预测是典型的有监督学习的过程 , 先给一组训练数据 , 根据该数据进行训练 , 完成后对未知的数据进行预测 ;

如 : 预测票房 , 疾病 ; 预测未知数值 ; 根据气候对国家分类 ; 根据汽车油耗对汽车分类 ;

4 . 聚类分析 ( Cluster Analysis ) : 将数据分组 , 使类内部数据相似度最大化 , 使类之间数据的相似度最小化 ;

数据类型标签未知 : 将数据分组形成新类 , 分析找出分类的依据 ;

5 . 异常检测 ( Outlier Analysis ) :

① 异常值 ( Outlier ) : 不符合一般行为特点的数据 ;

② 异常值作用 : 该数据很重要 , 用于罕见事件分析 , 欺诈检测 ;

6 . 趋势与演化分析 ( Trend and Evolution Analysis ) : 趋势与偏差 , 如回归分析 ; 序列模式挖掘 , 周期性分析 ; 基于相似性的分析 ;

II . 数据挖掘结果判断

数据挖掘结果判断 : 数据挖掘得出的知识 / 模式 , 如何判断得出的结果是否有效 ;

① 客观判断方法 : 通过科学计算进行判断是否正确 , 该计算基于模式的t 统计和结构 ; ( 学术界判断 )

② 主观判断方法 : 基于人的个人感觉 , 根据该结果是否盈利 , 客户 ( 甲方 ) 给出评判结果 ; ( 工业界判断 )

III . 数据挖掘学习框架

1 . 数据挖掘技术 ( 重点 ) : 聚类分析 , 异常检测 , 分类 , 关联规则分析 , 序列模式分析 , 数据方体与数据仓库 ;

2 . 数据挖掘原理 : 数据库技术 ( 索引 , 数据压缩 , 数据结构 ) , 人工智能 , 机器学习 , 统计学 , 信息论 , 理论计算 ( 近似 / 随机算法 ) , 数学规划 , 几何计算 ;

3 . 数据挖掘应用 : CRM , 搜索分析 , 网络安全 , 生物信息分析 …

IV . 数据挖掘分类

1 . 根据输入数据类型分类 :

① 根据数据模型分类 : 根据数据模型分类 , 分类成关系 , 面向对象 , 对象 - 关系 , 数据仓库等不同类型的数据模型的数据挖掘 ;

② 根据数据类型分类 : 时间数据 , 空间数据 , 文本数据 , 音视频多媒体数据 , WEB 数据等类型的数据挖掘 ;

2 . 根据输出数据类型分类 :

① 根据结果类型分析 : 特征分析 , 关联分析 , 聚类分析 , 偏差分析 , 异常检测分析 , 趋势和演化分析等类型的数据挖掘 ;

② 根据挖掘的知识的粒度与抽象级别分类 : 高抽象的泛化知识 , 原始层的知识 , 多层的知识 ;

3 . 根据采用的技术分类 : 如机器学习 , 模式识别 , 神经网络 , 可视化等技术类型的数据挖掘 ;

4 . 根据应用领域分类 : 如金融 , 生物 , 电讯等领域的数据挖掘 ;