二分 K-Means 算法

该算法补充自《机器学习实战》一书

常规的 K-Means 算法的误差通常只能收敛到局部最小，在此，引入一种称为二分 K-Means（bisecting kmeans）的算法，相较于常规的 K-Means，二分 K-Means 不急于一来就随机 KKK 个聚类中心，而是首先把所有点归为一个簇，然后将该簇一分为二。计算各个所得簇的失真函数（即误差），选择误差最大的簇再进行划分（即最大程度地减少误差），重复该过程直至达到期望的簇数目。

二分 KMeans 算法流程大致如下：

初始时，所有样本被看做在同一个簇：
c(1)=c(2)=...=c(m)c^{(1)}=c^{(2)}=\ ... \ =c^{(m)}c(1)=c(2)= ... =c(m)
whilenum<kwhile\ num<kwhile num<k （ numnumnum 表示当前的簇数）：

fori=1tonumfor\quad i=1\ to\ numfori=1 to num （对于每一个簇）：

计算误差
在该簇上进行 K-Means 聚类，其中 k=2k=2k=2
计算将该簇一分为二后的总误差，该误差在之后将会被用于比较

选择使得总误差最小的簇进行划分。

虽然二分 K-Means 能带来全局最优解，但是我们也可以看到，该算法是一个贪心算法，因此计算量不小。

6.6 二分 K-Means 算法-机器学习笔记-斯坦福吴恩达教授相关推荐

4.4 机器学习系统设计--垃圾邮件分类-机器学习笔记-斯坦福吴恩达教授
机器学习系统设计–垃圾邮件分类假定我们现有一封邮件,其内容如下: From: cheapsales@buystufffromme.com To: ang@cs.stanford.edu Subjec ...
6.2 K-Means 算法步骤-机器学习笔记-斯坦福吴恩达教授
K-Means 算法步骤那么,K-Means 这个算法是如何完成聚类过程的呢?其实算法名称中对此已有体现: K: 描述了簇的数量,也就是应当聚合成的几何数. Means:均值求解会是该算法的核心. ...
8.3 算法流程与评估-机器学习笔记-斯坦福吴恩达教授
算法流程与评估算法流程有了前面的知识,我们可以得到,采用了高斯分布的异常检测算法流程如下: 选择一些足够反映异常样本的特征 xjx_jxj . 对各个特征进行参数估计: μj=1m∑i=1mxj ...
4.7 程序示例--算法诊断-机器学习笔记-斯坦福吴恩达教授
程序示例–算法诊断我们手头有一份大坝水的流量与水位关系的数据,首先我们将其划分为训练集.交叉验证集和测试集: # coding: utf-8 # algorithm_analysis/diagnos ...
6.3 优化-机器学习笔记-斯坦福吴恩达教授
优化和其他机器学习算法一样,K-Means 也要评估并且最小化聚类代价,在引入 K-Means 的代价函数之前,先引入如下定义: μc(i)=样本x(i)被分配到的聚类中心μ^{(i)}_c=样本\ ...
5.7 程序示例--基于 SMO 的 SVM 模型-机器学习笔记-斯坦福吴恩达教授
程序示例–基于 SMO 的 SVM 模型在这里,我们会实现一个基于 SMO 的 SVM 模型,在其中,提供了简化版 SMO 和完整版 SMO 的实现. 简化版 SMO:不使用启发式方法选择 (α( ...
10.2 梯度下降-机器学习笔记-斯坦福吴恩达教授
梯度下降批量梯度下降法(Batch gradient descent) 拥有了大数据,就意味着,我们的算法模型中得面临一个很大的 m 值.回顾到我们的批量梯度下降法: 重复直到收敛:重复直到收敛:重 ...
10.1 掌握大数据-机器学习笔记-斯坦福吴恩达教授
掌握大数据在算法分析与优化一节中,我们就提到,在机器学习界流传着这样一句话: It's not who has the best algorithm that wins. It's who has ...
9.2 协同过滤-机器学习笔记-斯坦福吴恩达教授
协同过滤(Collaborative Filtering) 回到上一节的问题,每部电影,我们都有评价其内容的特征向量 xxx : 但是,在现实中,不会有任何网站,任何人有精力,有能力去评估每部电影所具 ...

6.6 二分 K-Means 算法-机器学习笔记-斯坦福吴恩达教授

二分 K-Means 算法

6.6 二分 K-Means 算法-机器学习笔记-斯坦福吴恩达教授相关推荐

最新文章

热门文章