数据挖掘概念与技术学习笔记(1)

很久以前就一直想好好了解下数据挖掘相关的知识，一直拖到现在。现在正处于大数据时代，数据挖掘有着广泛的应用前景。数据挖掘概念与技术.pdf

1.什么是数据挖掘？其作用和意义是什么？

近年来互联网飞速发展，快速增长的海量数据收集，存放在大型数据库中。然而，虽然数据丰富，但信息贫乏，没有强有力的工具，理解它们已经远远超出了人的能力。数据挖掘就是从大量的数据中提取或"挖掘"知识，也叫知识挖掘。通过数据挖掘工具进行数据分析，发现重要的数据模式，将数据转换为知识。数据挖掘研究的目的开发有效的数据挖掘工具。

2.数据库知识发现的一般过程

(1)数据清理(消除噪音或不一致数据)

(2)数据集成(多种数据源可以组合在一起)

(3)数据选择(从数据库中提取与分析任务相关的数据)

(4)数据变换(数据变换或同一成适合数据挖掘的形式；如通过汇总或聚类操作)

(5)数据挖掘(基本步骤，使用智能方法提取数据模式)

(6)模式评估(根据某种兴趣度度量，识别提供知识的真正有趣的模式)

(7)知识表示(使用可视化和知识表示技术，向用户提供数据挖掘的知识)

3.数据挖掘系统的主要组成部分

(1)数据仓库：一种多个异种数据源在单个站点以统一的模式组织存储，以支持管理决策。

(2)知识库：邻域知识，用于指导搜索，或评估结果模式的兴趣度。

(3)数据挖掘引擎：数据挖掘系统基本的部分，由一组功能模块组成，用于特征，关联，分类，聚类分析，演变或偏差分析。

(4)模式评估模块：通常，该部分使用兴趣度度量，并与挖掘模块交换，以便将搜索聚焦在有趣的模式上。

4.模式兴趣度的客观度量

1)支持度

对于形如 $X/Rightarrow Y$ 的关联规则，一种客观度量是规则的支持度。规则的支持度的表示满足规则的样本百分比。支持度是概率

$P(X/cup Y)$ ,其中， $X/cup Y$ 表示同时包含X和Y的事务，如下式所示。

$support(X/Rightarrow Y))=P(X/cup Y)$

2)置信度

置信度是条件概率P(Y|X);即包含X的事务也包含Y事务的概率，如下式所示

$confidence(X/Rightarrow Y)=P(Y|X)$

数据挖掘概念与技术学习笔记(1)相关推荐

数据挖掘概念与技术课后笔记
数据挖掘概念与技术一数据爆炸:自动数据收集工具和成熟的数据库技术使大量的数据被收集,储存在数据库.数据仓库或其他信息库中以待分析. 数据挖掘:从大量的数据中挖掘令人感兴趣的.有用的.隐含的.先去未知 ...
【数据挖掘概念与技术】学习笔记5-数据立方体技术
基本方体是数据立方体中泛化程度最低的方体.泛化程序最高的方体是顶点方体,通常用all表示.基本方体的单元是基本单元,非基本方体的单元是聚集单元. 聚集单元在一个或多个维上聚集,其中每个聚集维用单元记号 ...
【读书笔记-数据挖掘概念与技术】数据立方体技术
基本概念: 基本单元:基本方体的单元聚集单元:非基本方体的单元冰山立方体:部分物化的立方体最小支持度(最小支持度阀值):部分物化的最小阀值(说白了就是限定了一个范围) ∵冰山立方体仍有大量不感兴 ...
小五思科技术学习笔记之SSH
下面介绍一下相关概念: SSH的概念: SSH的英文全称为Secure Shell,SSH使用TCP的22号端口,其目的是要在非安全的网络上提供安全的远程登陆和其他安全的网络服务, 为什么要使用SSH ...
知识图谱技术学习笔记
知识图谱技术学习笔记从一开始的Google搜索,到现在的聊天机器人.大数据风控.证券投资.智能医疗.自适应教育.推荐系统,无一不跟知识图谱相关.它在技术领域的热度也在逐年上升. 本文以通俗易懂的方式 ...
SpringBoot整合第三方技术学习笔记（自用）
SpringBoot整合第三方技术学习笔记搬运黑马视频配套笔记 KF-4.数据层解决方案 KF-4-1.SQL 回忆一下之前做SSMP整合的时候数据层解决方案涉及到了哪些技术?MySQL数据库与My ...
java mvc框架代码_JAVA技术学习笔记：SpringMVC框架（内附入门程序开发代码）
原标题:JAVA技术学习笔记:SpringMVC框架(内附入门程序开发代码) JavaEE体系结构包括四层,从上到下分别是应用层.Web层.业务层.持久层.Struts和SpringMVC是Web层的 ...
《SAS编程与数据挖掘商业案例》学习笔记之十九
继续<SAS编程与数据挖掘商业案例>学习笔记,本文侧重数据处理实践,包括:HASH对象.自定义format.以及功能强大的正则表达式一:HASH对象 Hash对象又称散列表,是根据关键码 ...
《SAS编程与数据挖掘商业案例》学习笔记之十六
<SAS编程与数据挖掘商业案例>学习笔记,本次重点:sas宏变量内容包括:宏变量.宏函数.宏参数.通配函数.字符函数.计算函数.引用函数.宏语句.宏应用 1.宏触发器: %name-to ...
《SAS编程与数据挖掘商业案例》学习笔记之十四
继续<SAS编程与数据挖掘商业案例>学习笔记系列,本次重点:常用全程语句所谓全程语句,是指可以用在任何地方的sas语句,既可以用在data数据步语句里面,也可以用在proc过程步里面,甚 ...

数据挖掘概念与技术学习笔记(1)

数据挖掘概念与技术学习笔记(1)相关推荐

最新文章

热门文章