【数据挖掘】基于层次的聚类方法 ( 聚合层次聚类 | 划分层次聚类 | 族间距离 | 最小距离 | 最大距离 | 中心距离 | 平均距离 | 基于层次聚类步骤

文章目录

基于层次的聚类方法简介
基于层次的聚类方法概念
聚合层次聚类图示
划分层次聚类图示
基于层次的聚类方法切割点选取
族间距离概念
族间距离使用到的变量
族间距离最小距离
族间距离最大距离
族间距离中心点距离
族间距离平均距离
基于层次聚类 ( 聚合层次聚类 ) 步骤
基于层次聚类 ( 聚合层次聚类 ) 算法终止条件
族半径计算公式
基于层次聚类总结

基于层次的聚类方法简介

1 . 基于层次的聚类方法 : 将数据集样本对象排列成聚类树 , 在指定的层次 ( 切割点 ) 进行切割 , 切割点时刻的聚类分组 , 就是最终需要的聚类分组 ; 也就是这个切割点的切割的时刻 , 互相关联的样本 , 划分到一个聚类分组中 ;

2 . 基于层次聚类方法的两种方式 :

① 聚合层次聚类 : 开始时 , 每个对象都是一个聚类分组 ( 原子聚类 ) , 根据聚类之间的相似性 , 对原子聚类逐渐合并 , 最终会合并成一个聚类 ; 其本质是 由多个聚类分组切割成成少数聚类分组 ;

② 划分层次聚类 : 开始时 , 所有的样本都在一个聚类中 , 根据聚类间相似性 , 对聚类进行划分 , 最终每个样本都会被划分成一个聚类分组 ( 原子聚类 ) ; 本质是 由少数聚类分组划分成多个聚类分组 ;

基于层次的聚类方法概念

1 . 基于层次的聚类方法概念 : 将数据集样本对象排列成树结构 , 称为聚类树 , 在指定的层次 ( 步骤 ) 上切割数据集样本 , 切割后时刻的聚类分组就是聚类算法的聚类结果 ;

2 . 基于层次的聚类方法 : 一棵树可以从叶子节点到根节点 , 也可以从根节点到叶子节点 , 基于这两种顺序 , 衍生出两种方法分支 , 分别是 : 聚合层次聚类 , 划分层次聚类 ;

3 . 聚合层次聚类 ( 叶子节点到根节点 ) : 开始时 , 每个样本对象自己就是一个聚类 , 称为 原子聚类 , 然后根据这些样本之间的 相似性 , 将这些样本对象 ( 原子聚类 ) 进行合并 ;

常用的聚类算法 : 大多数的基于层次聚类的方法 , 都是 聚合层次聚类 类型的 ; 这些方法从叶子节点到根节点 , 逐步合并的原理相同 ; 区别只是聚类间的相似性计算方式不同 ;

4 . 划分层次聚类 ( 根节点到叶子节点 ) : 开始时 , 整个数据集的样本在一个总的聚类中 , 然后根据样本之间的相似性 , 不停的切割 , 直到完成要求的聚类操作 ;

5 . 算法性能 : 基于层次的聚类方法的时间复杂度为 O(N2)O(N^2)O(N2) , 如果处理的样本数量较大 , 性能存在瓶颈 ;

聚合层次聚类图示

1 . 聚合层次聚类图示 :

① 初始状态 : 最左侧五个数据对象 , 每个都是一个聚类 ;

② 第一步 : 分析相似度 , 发现 a,ba , ba,b 相似度很高 , 将 {a,b}\{a ,b\}{a,b} 分到一个聚类中 ;

③ 第二步 : 分析相似度 , 发现 d,ed, ed,e 相似度很高 , 将 {d,e}\{d, e\}{d,e} 分到一个聚类中 ;

④ 第三步 : 分析相似度 , 发现 ccc 与 d,ed,ed,e 相似度很高 , 将 ccc 数据放入 {d,e}\{d, e\}{d,e} 聚类中 , 组成 {c,d,e}\{c,d, e\}{c,d,e} 聚类 ;

⑤ 第四步 : 分析相似度 , 此时要求的相似度很低就可以将不同的样本进行聚类 , 将前几步生成的两个聚类 , 合并成一个聚类 {a,b,c,d,e}\{a, b, c, d, e\}{a,b,c,d,e} ;

2 . 切割点说明 : 实际进行聚类分析时 , 不会将所有的步骤走完 , 这里提供四个切割点 , 聚类算法进行聚类时 , 可以在任何一个切割点停止 , 使用当前的聚类分组当做聚类结果 ;

① 切割点 111 : 在切割点 111 停止 , 会得到 555 个聚类分组 , {a}\{a\}{a} , {b}\{b\}{b}, {c}\{c\}{c}, {d}\{d\}{d} , {e}\{e\}{e} ;

② 切割点 222 : 在切割点 222 停止 , 会得到 444 个聚类分组 , {a,b}\{a, b\}{a,b} , {c}\{c\}{c}, {d}\{d\}{d} , {e}\{e\}{e} ;

③ 切割点 333 : 在切割点 333 停止 , 会得到 333 个聚类分组 , {a,b}\{a, b\}{a,b} , {c}\{c\}{c}, {d,e}\{d, e\}{d,e} ;

④ 切割点 444 : 在切割点 444 停止 , 会得到 222 个聚类分组 ; {a,b}\{a, b\}{a,b} , {c,d,e}\{c, d, e\}{c,d,e} ;

⑤ 走完整个流程 : 会得到 111 个聚类分组 , {a,b,c,d,e}\{a, b ,c, d, e\}{a,b,c,d,e} ;

划分层次聚类图示

1 . 划分层次聚类图示 :

① 初始状态 : 最左侧五个数据对象 , 属于一个聚类 ;

② 第一步 : 分析相似度 , 切割聚类 , 将 {c,d,e}\{c,d, e\}{c,d,e} 与 {a,b}\{a ,b\}{a,b} 划分成两个聚类 ;

③ 第二步 : 分析相似度 , 将 {c,d,e}\{c,d, e\}{c,d,e} 中的 {c}\{c\}{c} 与 {d,e}\{d, e\}{d,e} 划分成两个聚类 ;

④ 第三步 : 分析相似度 , 将 {d,e}\{d, e\}{d,e} 拆分成 {d}\{d\}{d} 和 {e}\{e\}{e} 两个聚类 ;

⑤ 第四步 : 分析相似度 , 将 {a,b}\{a ,b\}{a,b} 拆分成 {a}\{a\}{a} 和 {b}\{b\}{b} 两个聚类 , 至此所有的数据对象都划分成了单独的聚类 ;

① 切割点 111 : 在切割点 111 停止 , 会得到 111 个聚类分组 , {a,b,c,d,e}\{a, b ,c, d, e\}{a,b,c,d,e} ;

② 切割点 222 : 在切割点 222 停止 , 会得到 222 个聚类分组 ; {a,b}\{a, b\}{a,b} , {c,d,e}\{c, d, e\}{c,d,e} ;

③ 切割点 333 : 在切割点 333 停止 , 会得到 333 个聚类分组 , {a,b}\{a, b\}{a,b} , {c}\{c\}{c}, {d,e}\{d, e\}{d,e}$ ;

④ 切割点 444 : 在切割点 444 停止 , 会得到 444 个聚类分组 , {a,b}\{a, b\}{a,b} , {c}\{c\}{c}, {d}\{d\}{d} , {e}\{e\}{e} ;

⑤ 走完整个流程 : 会得到 555 个聚类分组 , {a}\{a\}{a} , {b}\{b\}{b}, {c}\{c\}{c}, {d}\{d\}{d} , {e}\{e\}{e} ;

基于层次的聚类方法切割点选取

1 . 算法终止条件 ( 切割点 ) : 用户可以指定聚类操作的算法终止条件 , 即上面图示中的切割点 , 如 :

① 聚类的最低个数 : 聚合层次聚类中 , nnn 个样本 , 开始有 nnn 个聚类 , 逐步合并 , 聚类个数逐渐减少 , 当聚类个数达到最低值 minminmin , 停止聚类算法 ;

② 聚类最高个数 : 划分层次聚类中 , nnn 个样本 , 开始有 111 个聚类 , 逐步划分 , 聚类个数逐渐增加 , 当聚类个数达到最大值 maxmaxmax , 停止聚类算法 ;

③ 聚类样本的最低半径 : 聚类的数据样本范围不能无限扩大 , 指定一个阈值 , 只有将该阈值内的样本放入一组 ; 半径指的是所有对象距离其平均点的距离 ;

2 . 切割点回退问题 : 切割点一旦确定 , 便无法回退 ; 这里以聚合层次聚类为例 :

① 处于切割点 444 : 如已经执行到了步骤三 , 此时处于切割点 444 , 聚类分组为 {a,b}\{a, b\}{a,b} , {c,d,e}\{c, d, e\}{c,d,e} ;

② 试图回退到切割点 333 : 想要会回退到切割点 333 的状态 , 视图将聚类分组恢复成 {a,b}\{a, b\}{a,b} , {c}\{c\}{c}, {d,e}\{d, e\}{d,e} ;

③ 无法回退 : 该操作是无法实现的 , 聚类分组一旦合并或分裂 , 此时就无法回退 ;

族间距离概念

族间距离 :

① 作用: 族间距离 , 就是聚类分组之间的距离 , 之前的距离计算都是样本之间的距离 , 这里的基于层次聚类时 , 不管是聚合层次聚类 , 还是划分层次聚类 , 其都要进行聚类分组间的相似度比较 ,

② 聚合层次聚类 : 是根据聚类的族间距离 ( 聚类分组相似性 ) 将不同的聚类分组进行合并 ;

③ 划分层次聚类 : 是根据聚类的族间距离 ( 聚类分组相似性 ) 将不同的聚类分组进行划分 ( 拆分 ) ;

族间距离使用到的变量

公式中用到的变量 :

① 样本表示 : ppp 和 qqq 表示分别处于两个聚类分组中的两个样本 ;

② 样本距离表示 : d(p,q)d(p, q)d(p,q) 表示 ppp 样本对象与 qqq 样本对象的距离 ;

③ 聚类 ( 族 ) 表示 : CiC_iCi 和 CjC_jCj 分别表示两个聚类 / 族 / 聚类分组 ;

④ 聚类距离表示 : d(Ci,Cj)d(C_i, C_j)d(Ci,Cj) 表示 CiC_iCi 聚类与 CjC_jCj 聚类之间的距离 ;

⑤ 聚类中心点 : mim_imi 是 CiC_iCi 聚类的中心点 , mjm_jmj 是 CjC_jCj 聚类的中心点 ;

⑥ 样本个数 : nin_ini 是 CiC_iCi 聚类的样本个数 , njn_jnj 是 CjC_jCj 聚类的样本个数 ;

族间距离最小距离

Ci,CjC_i \,, C_jCi,Cj 族间距离最小距离公式 :

dmin(Ci,Cj)=minp∈Ci,q∈Cjd(p,q)d_{min}(C_i , C_j) = min _{p \in C_i , q \in C_j} d(p, q)dmin(Ci,Cj)=minp∈Ci,q∈Cjd(p,q)

dmin(Ci,Cj)d_{min}(C_i , C_j)dmin(Ci,Cj) 表示两个聚类的最小距离 ;

ppp 是属于 CiC_iCi 聚类中的任意样本 ;

qqq 是属于 CjC_jCj 聚类中的任意样本 ;

总结 : 两个聚类中两个最近的样本之间的距离就是聚类间的最小距离 ;

族间距离最大距离

Ci,CjC_i \,, C_jCi,Cj 族间距离最大距离公式 :

dmax(Ci,Cj)=maxp∈Ci,q∈Cjd(p,q)d_{max }(C_i , C_j) = max _{p \in C_i , q \in C_j} d(p, q)dmax(Ci,Cj)=maxp∈Ci,q∈Cjd(p,q)

dmax(Ci,Cj)d_{max }(C_i , C_j)dmax(Ci,Cj) 表示两个聚类的最大距离 ;

ppp 是属于 CiC_iCi 聚类中的任意样本 ;

qqq 是属于 CjC_jCj 聚类中的任意样本 ;

总结 : 两个聚类中两个最远的样本之间的距离就是聚类间的最大距离 ;

族间距离中心点距离

Ci,CjC_i \,, C_jCi,Cj 族间距离中心点距离公式 :

dmean(Ci,Cj)=d(mi,mj)d_{mean }(C_i , C_j) = d(m_i, m_j)dmean(Ci,Cj)=d(mi,mj)

dmean(Ci,Cj)d_{mean }(C_i , C_j)dmean(Ci,Cj) 表示两个聚类的中心点距离 ;

mim_imi 是 CiC_iCi 聚类的中心点 ;

mjm_jmj 是 CjC_jCj 聚类的中心点 ;

d(mi,mj)d(m_i, m_j)d(mi,mj) 表示 mim_imi 样本和 mjm_jmj 样本之间的距离 ;

总结 : 两个聚类中的中心点样本之间的距离就是聚类间的中心点距离 ;

族间距离平均距离

Ci,CjC_i \,, C_jCi,Cj 族间距离平均距离公式 :

davg(Ci,Cj)=1ninj∑p∈Ci∑q∈Cjd(p,q)d_{avg}(C_i , C_j) = \frac{1}{n_i n_j}\sum_{p \in C_i}\sum_{q \in C_j} d(p, q)davg(Ci,Cj)=ninj1p∈Ci∑q∈Cj∑d(p,q)

dmean(Ci,Cj)d_{mean }(C_i , C_j)dmean(Ci,Cj) 表示两个聚类的中心点距离 ;

ppp 是属于 CiC_iCi 聚类中的任意样本 ;

qqq 是属于 CjC_jCj 聚类中的任意样本 ;

nin_ini 是 CiC_iCi 聚类的样本个数 ;

njn_jnj 是 CjC_jCj 聚类的样本个数 ;

∑p∈Ci∑q∈Cjd(p,q)\sum_{p \in C_i}\sum_{q \in C_j} d(p, q)∑p∈Ci∑q∈Cjd(p,q) 表示聚类 CiC_iCi 中每一个点到聚类 CjC_jCj 中所有点的距离 , 这里 CiC_iCi 中每个点都对应 njn_jnj 个距离 , nin_ini 个点 , 对应 ni×njn_i \times n_jni×nj 个距离 ;

总结 : 两个聚类中的平均距离就是聚类间的所有点的距离的平均距离 ;

基于层次聚类 ( 聚合层次聚类 ) 步骤

聚合层次聚类步骤 :

① 原理 : 根据聚类分组的族间距离对相似的聚类分组进行逐步合并 ;

② 步骤一 : 每个样本都构成聚类分组 , 称为原子聚类 ;

③ 步骤二 : 计算所有聚类之间的距离 ; 可以采用最小距离 , 最大距离 , 中心点距离 , 平均距离中的一个 ;

④ 步骤三 : 将距离最近的两个聚类分组合并 , 聚类的个数减少 111 个 ;

⑤ 步骤四 : 转到步骤二计算聚类间距离 , 步骤三合并近距离聚类 ; 如果满足算法终止条件 , 那么停止聚类 , 否则一直循环迭代 , 最终合并成一个聚类 ;

基于层次聚类 ( 聚合层次聚类 ) 算法终止条件

算法终止条件 : 是由用户指定的 , 如 :

① 聚类分组 ( 族 ) 个数 : 当聚类的个数达到阈值 , 算法终止 ;

② 聚类半径 : 每个聚类的半径都超过某个阈值 ;

族半径计算公式

族 ( 聚类 ) 半径计算公式 :

R=1n∑i=1nd(pi−m)R=\frac{1}{n}\sum _{i=1}^n d(p_i - m)R=n1i=1∑nd(pi−m)

RRR 表示聚类半径 ;

nnn 表示聚类中的样本个数 ;

mmm 代表聚类中心点 ;

d(pi−m)d(p_i - m)d(pi−m) 表示聚类中第 iii 个样本距离中心点的距离 ;

基于层次聚类总结

1 . 基于层次聚类的核心 : 是计算两个聚类分组 ( 族 ) 之间的距离 , 根据族间距离进行聚类合并 ;

2 . 适用场景 : 如果每个聚类密度差不多 , 族间距离分离的很清晰 , 那么使用不同的族间距离进行聚类产生的聚类结果基本一致 ;

3 . 算法缺陷 : 基于层次距离不适用于以下情况 ; 聚类分组分离的不明显 ; 形状不是球形 , 凹形的 ; 聚类间大小不等 ; 各个聚类间样本密度不同 ;