如何初始化聚类中心

通常，我们会随机选取 KKK 个样本作为 KKK 个聚类中心（K<m）（ K<m ）（K<m）。但是，如下图所示，不同的初始化有可能引起不同的聚类结果，能达到全局最优（global optimal）固然是好的，但是，往往得到的是局部最优（local optimal）。

现在，想要提前避免不好的聚类结果仍是困难的，我们只能尝试不同的初始化：

fori=1to100：for\quad i=1\ to\ 100 ：fori=1 to 100：

随机初始化，执行 K-Means，得到每个所属的簇 c(i)c^{(i)}c(i) ，以及各聚类的中心位置 μμμ ：
c(1),c(2),...,c(m),μ1,μ2,...,μkc^{(1)},c^{(2)},...,c^{(m)},\ μ_1,μ_2,...,μ_kc(1),c(2),...,c(m), μ1,μ2,...,μk
计算失真函数 JJJ

选择这 100 次中， JJJ 最小的作为最终的聚类结果。

显然，该方法计算量较大，所以只适用于 KKK 值较小的场景。

6.4 如何初始化聚类中心-机器学习笔记-斯坦福吴恩达教授相关推荐

6.5 如何确定聚类数-机器学习笔记-斯坦福吴恩达教授
如何确定聚类数实际上,一开始是很难确定聚类数的,下图的两种聚类数似乎都是可行的: 但是,也存在一种称之为肘部法则(Elbow Method) 的方法来选定适当的K值: 上图曲线类似于人的手肘,&q ...
4.4 机器学习系统设计--垃圾邮件分类-机器学习笔记-斯坦福吴恩达教授
机器学习系统设计–垃圾邮件分类假定我们现有一封邮件,其内容如下: From: cheapsales@buystufffromme.com To: ang@cs.stanford.edu Subjec ...
6.6 二分 K-Means 算法-机器学习笔记-斯坦福吴恩达教授
二分 K-Means 算法该算法补充自 <机器学习实战> 一书常规的 K-Means 算法的误差通常只能收敛到局部最小,在此,引入一种称为二分 K-Means(bisecting km ...
6.3 优化-机器学习笔记-斯坦福吴恩达教授
优化和其他机器学习算法一样,K-Means 也要评估并且最小化聚类代价,在引入 K-Means 的代价函数之前,先引入如下定义: μc(i)=样本x(i)被分配到的聚类中心μ^{(i)}_c=样本\ ...
6.2 K-Means 算法步骤-机器学习笔记-斯坦福吴恩达教授
K-Means 算法步骤那么,K-Means 这个算法是如何完成聚类过程的呢?其实算法名称中对此已有体现: K: 描述了簇的数量,也就是应当聚合成的几何数. Means:均值求解会是该算法的核心. ...
3.6 权值初始化-机器学习笔记-斯坦福吴恩达教授
权值初始化 0值初始化在逻辑回归中,我们通常会初始化所有权值为 0 ,假如在如下的神经网络也采用 0 值初始化: 则可以得到: a1(1)=a2(2)a^{(1)}_1=a^{(2)}_2a1(1) ...
6.1 无监督学习-机器学习笔记-斯坦福吴恩达教授
无监督学习从本节开始,将正式进入到无监督学习(Unsupervised Learning)部分.无监督学习,顾名思义,就是不受监督的学习,一种自由的学习方式.该学习方式不需要先验知识进行指导,而是不 ...
5.7 程序示例--基于 SMO 的 SVM 模型-机器学习笔记-斯坦福吴恩达教授
程序示例–基于 SMO 的 SVM 模型在这里,我们会实现一个基于 SMO 的 SVM 模型,在其中,提供了简化版 SMO 和完整版 SMO 的实现. 简化版 SMO:不使用启发式方法选择 (α( ...
3.12 程序示例--多分类问题-机器学习笔记-斯坦福吴恩达教授
多分类问题我们手上包含有手写字符的数据集,该数据集来自斯坦福机器学习的课后作业,每个字符图片大小为 20×20 ,总的样本规模为 5000×400 , 我们的神经网络设计如下,包含 1 个隐含层,隐 ...

6.4 如何初始化聚类中心-机器学习笔记-斯坦福吴恩达教授

如何初始化聚类中心

6.4 如何初始化聚类中心-机器学习笔记-斯坦福吴恩达教授相关推荐

最新文章

热门文章