数据挖掘（python实现）

1.数据对象与属性类型

数据集合的类型：记录、图或网络、有序的列表、空间、图像和多媒体等。

数据集由数据对象构成，一个数据对象代表一个实体。又称为样本，事例，数据点，对象，元组等。

数据对象由属性来描述。

属性（也称作维度，特征，变量）：一个数据字段表示一个数据对象的某个特征。

属性类型：标称属性——与名称有关

类别、状态等

Hair_color={auburn,black,blond,brown,grey,red,white}

婚宴状态，职业，ID号，邮政编码

二元属性——是一种特殊的标称属性或布尔属性

只有2个状态的名词性属性（0和1）

对称二元：同样重要，例如性别

非对称：非同等重要，例如医疗检查中的阴性和阳性

序数属性——有意义的序，但是相继值之差是未知的

值有一个有意义的排序，但连续值之间的大小未知，例如衣服大小号

Size={small，medium，large}，等级等

数字属性——数量的

区间标度：相等的单位尺度，没有真正的零点，如年;

比率标度：具有固定零点的数值属性，如重量，身高等。

标称属性、二元属性和序数属性都是定性的。

离散属性和连续属性：

离散属性——一个有限的或可数无限集值，例如邮政编码

连续属性——属性值为实数，通常表示为浮点变量

2.数据的基本统计描述

（1）数据描述性统计之集中趋势—均值，中位数，众数

均值（样本vs总体）（mean）：n是样本大小，N是总体大小

加权算术均值：

截断均值：去掉高低极端值

中位数（median）：奇数则为有序集的中间值，否则为中间两个数的平均

众数（Mode）：出现频率最高的值，经验公式mean-mode=3×(mean-median)

（2）描述性统计之离散趋势—变异程度的度量

极差（全矩）：

极差（range，全距）是数据中最大与最小间的差距

是衡量数据变异程度最简单的描述

全距对最大与最小数据的值的敏感性很强

分位数（分位点，percentile）：

将一个随机变量的概率分布范围分为几个等份的数值点

常用中位数（二分位数）、四分位数、百分位数等

四分位数（quartile）：Q1,Q2,Q3,Q4

中间四分位数极差（Inter-quartile range）：IQR=Q3-Q1

四分位点内距是第三与第一四分位数间的差距

是中间50%的数据的全距

它能够克服极端值的影响

五数概况（five-number summary）：最小值，Q1，中位数，Q3，最大值

Boxplot:

使用盒子表示数据

盒子两端是第1/3四分位数，即盒子高度为四分位数极差IQR

盒内的线表示中位数

胡须：不超过四分位数1.5×IQR的最大/小数据点

离群点（Qutliers）：单独绘出满足某个离群点阈条件的离群点

方差：方差是各数据值与平均值之间的差异

如果数据集为样本，样本方差为

如果数据集为总体，总体方差为

标准差：标准差为方差的正平方根

如果数据集是样本，样本标准差为

如果数据集为总体，总体标准差为

变异系数：变异系数是标准差相对于平均数的大小的度量。

如果数据集为样本，计算为

如果数据集为总体，计算为

（3）描述性统计分析—离散趋势度量

极差（range），四分位数（Quartiles），离群点（outliers），盒图（boxplots）

极差（range）：max-min

四分位数（quartile）：Q1（25百分位数percentile），Q3（75百分位数percentile）

中间四分位数极差（Inter-quartile range）：IQR=Q3-Q1

五数概括：min,Q1,median,Q3,max

盒图：盒两端为四分位数，中位数标记，添加胡须，离群点独立标出

离群点：通常是值高/低于四分位数1.5×IQR

方差/标准差（样本；总体）

方差（Variance）：

标准差（Standard deviation）：方差的平方根

（4）描述性统计之基本统计图形

直方图（Histogram）：图形显示每个列值的频率，条形图所示

显示有多大比例的点下落入每个类别

类别并不是均匀的宽度时有别于条形图一个关键：条形图的面积表示值而不是条形图的高度

类别通常指定为变量的一些非重叠区间。类别必须相邻

散点图（Scatter plot）：

提供双变量的数据的第一印象：点的聚集，离群点等

每个值对作为一个坐标点绘于平面上

分位数图（Quantile Plot）：

显示所有数据（允许用户评估全部行为和不寻常的事件）

分位数-分位数图（Q-Q图）：

对着另一个分位数，绘制一个单变量分布的分位数

3.数据的相似性和相异性度量

（1）数据的相似性和相异性度量

相似性（Similarity）：

数值测量两个数据对象类似程度

目标越相似时值越大

通常介于[0,1]

相异性（Dissimilarity）：

数值测量两个数据对象差异程度

邻近度（Proximity）

（2）数据矩阵和相异度矩阵

数据矩阵（Data matrix）：

相异性矩阵（Dissimilarity matrix）：

（3）标称属性（名词性）的邻近度量

2个或多个状态，例如：red,yellow,blue,green（二元属性的推广）

方法1：简单匹配：

m：p个变量中匹配的个数

p：全部变量的个数

方法2：使用一系列的二进制属性

为M个名义状态的每一个产生一个新的二进制/二元属性

二进制数据的列联表：

对称二元变量的距离侧度：

不对称二元变量的距离侧度：

Jaccard系数（不对称二元变量的相似性侧度）：

二进制属性的相异度量

性别是对称属性

其他属性是非对称属性

令 Y和 P值为1，且N值为0

（4）数值属性相异性测度

Minkowski distance：一种流行的距离测度

h=1：曼哈顿距离（L1范数）

h=2：欧氏距离

计算例子：

（5）数值属性相异性测度—标准化

Z-score：

x：需标准化的原始数值，u：总体均值，σ：标准差

在标准偏差单位下，原始分数和总体均值之间的距离：“-”，“+”

数值属性相异性计算之前，一般先进行数据标准化处理

（5）余弦相似性

文档用词频来进行量化和表上，如下

余弦相似性计算公式：

4.python操作实现

数据的基本统计描述—集中趋势

均值

中位数

众数

方法一：

方法二：

数据的基本统计描述—离散趋势

极差

四分位数

四分位数极差（四分位距）

五数概况

单一箱线图

多个箱线图

方差和标准差

DataFrame描述性统计

数据的基本统计描述—基本统计图

条形图

饼状图

折线图

直方图

散点图

分位数—分位数图

雷达图

词云

计算数值属性的三种距离