【算法】K-Means聚类算法（k-平均或k-均值）

1.聚类算法和分类算法的区别

a)分类

分类(Categorization or Classification)就是按照某种标准给对象贴标签(label)，再根据标签来区分归类。

举例：

假如你有一堆动物的头像图片样本，想把它们进行分类，分成：猫，狗，鱼等。当在有新的动物图片进来之后，能够自动的识别出属于哪一类，这就是分类，而猫，狗，鱼等就是标签

b）聚类

聚类是指事先没有“标签”而通过某种成团分析找出事物之间存在聚集性原因的过程。聚类是在没有划分类别的情况下，根据数据相似度进行样本分组的一种方法。

与分类模型需要使用有类标记样本构成的训练数据不同，聚类模型可以建立在无类标记的数据上，是一种非监督的学习算法。

举例:

假如你有一堆数据样本，想把这些数据分类，但是你也不知道怎么分，你只知道要分3类，4类或者其他更多。这时候就等于是把一堆零散的样本聚成几类。

c）总结:分类和聚类最大的区别就是有无标签。

2.K-means属于聚类算法

假设你有X1——Xi个样本，想把它们分成Uk个中心

算法的步骤：

a).随机的选择U1---Uk个中心，用样本Xi去减分别减这个中心值，得到距离类别中心最近的类别，归为同一个簇。
b).将这个簇的中心值归为这个簇的所有样本的平均值，重新执行第一步。
c).不断进行迭代，也就是不断的执行a)和b)两步，直到类别中心小于某个阈值也就是终止条件。

这些终止条件可以是：1）迭代次数； 2）簇中心变化率；3）最小平方误差

3.注意事项：

a).K-means算法是初始敏感的

如下图：在初始选择簇类点时，对后面的聚类影响很大，下面初始选择4个红点作为簇类中心，结果就变成了右边这种情况了。并不是我们想要分成的四类

解决办法：聚类完之后计算一下簇的均方误差，如果某一个簇的均方误差特别大，就可以判断这个簇聚的不对，初值选的不行，把簇中心比较近的合成一类，重新再聚一遍

这种叫做二分K-Means聚类

b）异常点处理

K—Means算法是将簇中所有的均值作为质心，若簇中含有异常点，将导致均值偏离严重。

例如：当有一个数组：1，2，3，4，100的均值是22，显然距离大多数数据比较远

解决办法：该取中位数3为比较稳妥。这种取中位数的为簇中心的算法叫K-Mediods聚类

4.总结：

虽然有以下缺点：

a)不适合于发现非凸形状的簇或者大小差别很大的簇

b）对噪声和孤立点数据敏感

但是，K-Means聚类算法可以作为其他聚类算法的基础

转载于:https://www.cnblogs.com/liangxuehui/p/5804894.html

【算法】K-Means聚类算法（k-平均或k-均值）相关推荐

k means聚类算法_一文读懂K-means聚类算法
1.引言什么是聚类?我们通常说,机器学习任务可以分为两类,一类是监督学习,一类是无监督学习.监督学习:训练集有明确标签,监督学习就是寻找问题(又称输入.特征.自变量)与标签(又称输出.目标.因变量) ...
k means聚类算法_K-Means 聚类算法 20210108
说到聚类,应先理解聚类和分类的区别聚类和分类最大的不同在于:分类的目标是事先已知的,而聚类则不一样,聚类事先不知道目标变量是什么,类别没有像分类那样被预先定义出来. K-Means 聚类算法有很多种 ...
OpenCV官方文档理解k - means聚类
理解k - means聚类目标在这一章中,我们将了解k - means聚类的概念,它是如何工作等. 理论我们将这个处理是常用的一个例子. t恤尺寸问题考虑一个公司要发布一个新模型的t恤. 显然 ...
k中心点聚类算法伪代码_聚类算法之——K-Means、Canopy、Mini Batch K-Means
K-Means||算法 K-Means||算法是为了解决K-Means++算法缺点而产生的一种算法: 主要思路是改变每次遍历时候的取样规则,并非按照K-Means++算法每次遍历只获取一个样本,而是每 ...
OpenCV的k - means聚类 -对图片进行颜色量化
OpenCV的k - means聚类目标学习使用cv2.kmeans()数据聚类函数OpenCV 理解参数输入参数样品:它应该的np.float32数据类型,每个特性应该被放在一个单独的列. ...
ML之Clustering之普聚类算法：普聚类算法的相关论文、主要思路、关键步骤、代码实现等相关配图之详细攻略
ML之Clustering之普聚类算法:普聚类算法的相关论文.主要思路.关键步骤.代码实现等相关配图之详细攻略目录普聚类算法的相关论文普聚类算法的主要思路普聚类算法的关键步骤普聚类算法的代码 ...
基于KMeans聚类的协同过滤推荐算法推荐原理、过程、代码实现 Canopy聚类算法 KMeans+Canopy聚类算法聚类算法程序实现 KMEans聚类算法代码java
基于KMeans聚类的协同过滤推荐算法可运用于基于用户和基于项目的协同过滤推荐算法中,作为降低数据稀疏度和提高推荐准确率的方法之一,一个协同过滤推荐过程可实现多次KMeans聚类. 一.基于KMean ...
化学分子降维算法umap、聚类算法hdbscan和kmeans
参考: https://github.com/iwatobipen/chemo_info/blob/master/chemicalspace2/HDBSCAN_Chemoinfo.ipynb http ...
聚类算法之层次聚类算法和应用举例
聚类算法之层次聚类算法和应用举例 1.假设有N个待聚类的样本,对于层次聚类来说,步骤: 1.(初始化)把每个样本归为一类,计算每两个类之间的距离,也就是样本与样本之间的相似度: 2.寻找各个类之间最近 ...
k均值聚类算法考试例题_k means聚类算法实例
所谓聚类问题,就是给定一个元素集合D,其中每个元素具有n个可观察属性,使用某种算法将D划分成k个子集,要求每个子集内部的元素之间相异度尽可能低,而不同子集的元素相异度尽可能高.其中每个子集叫做一个簇. ...

【算法】K-Means聚类算法（k-平均或k-均值）

【算法】K-Means聚类算法（k-平均或k-均值）相关推荐

最新文章

热门文章