一、K-Means算法存在的问题

由于K-Means算法的简单且易于实现，因此K-Means算法得到了很多的应用，但是从K-Means算法的过程中发现，K-Means算法中的聚类中心的个数k需要事先指定，这一点对于一些未知数据存在很大的局限性。其次，在利用K-Means算法进行聚类之前，需要初始化k个聚类中心，在上述的K-Means算法的过程中，使用的是在数据集中随机选择最大值和最小值之间的数作为其初始的聚类中心，但是聚类中心选择不好，对于K-Means算法有很大的影响。对于如下的数据集：

如选取的个聚类中心为：

最终的聚类结果为：

为了解决因为初始化的问题带来K-Means算法的问题，改进的K-Means算法，即K-Means++算法被提出，K-Means++算法主要是为了能够在聚类中心的选择过程中选择较优的聚类中心。

二、K-Means++算法的思路

K-Means++算法在聚类中心的初始化过程中的基本原则是使得初始的聚类中心之间的相互距离尽可能远，这样可以避免出现上述的问题。K-Means++算法的初始化过程如下所示：

在数据集中随机选择一个样本点作为第一个初始化的聚类中心
选择出其余的聚类中心：
- 计算样本中的每一个样本点与已经初始化的聚类中心之间的距离，并选择其中最短的距离，记为d_i
- 以概率选择距离最大的样本作为新的聚类中心，重复上述过程，直到k个聚类中心都被确定
对k个初始化的聚类中心，利用K-Means算法计算最终的聚类中心。

在上述的K-Means++算法中可知K-Means++算法与K-Means算法最本质的区别是在k个聚类中心的初始化过程。

Python实现：

# coding:UTF-8
'''
Date:20160923
@author: zhaozhiyong
'''import numpy as np
from random import random
from KMeans import load_data, kmeans, distance, save_resultFLOAT_MAX = 1e100 # 设置一个较大的值作为初始化的最小的距离def nearest(point, cluster_centers):min_dist = FLOAT_MAXm = np.shape(cluster_centers)[0]  # 当前已经初始化的聚类中心的个数for i in xrange(m):# 计算point与每个聚类中心之间的距离d = distance(point, cluster_centers[i, ])# 选择最短距离if min_dist > d:min_dist = dreturn min_distdef get_centroids(points, k):m, n = np.shape(points)cluster_centers = np.mat(np.zeros((k , n)))# 1、随机选择一个样本点为第一个聚类中心index = np.random.randint(0, m)cluster_centers[0, ] = np.copy(points[index, ])# 2、初始化一个距离的序列d = [0.0 for _ in xrange(m)]for i in xrange(1, k):sum_all = 0for j in xrange(m):# 3、对每一个样本找到最近的聚类中心点d[j] = nearest(points[j, ], cluster_centers[0:i, ])# 4、将所有的最短距离相加sum_all += d[j]# 5、取得sum_all之间的随机值sum_all *= random()# 6、获得距离最远的样本点作为聚类中心点for j, di in enumerate(d):sum_all -= diif sum_all > 0:continuecluster_centers[i] = np.copy(points[j, ])breakreturn cluster_centersif __name__ == "__main__":k = 4#聚类中心的个数file_path = "data.txt"# 1、导入数据print "---------- 1.load data ------------"data = load_data(file_path)# 2、KMeans++的聚类中心初始化方法print "---------- 2.K-Means++ generate centers ------------"centroids = get_centroids(data, k)# 3、聚类计算print "---------- 3.kmeans ------------"subCenter = kmeans(data, k, centroids)# 4、保存所属的类别文件print "---------- 4.save subCenter ------------"save_result("sub_pp", subCenter)# 5、保存聚类中心print "---------- 5.save centroids ------------"save_result("center_pp", centroids)

其中，KMeans所在的文件为：

# coding:UTF-8
'''
Date:20160923
@author: zhaozhiyong
'''
import numpy as npdef load_data(file_path):f = open(file_path)data = []for line in f.readlines():row = []  # 记录每一行lines = line.strip().split("\t")for x in lines:row.append(float(x)) # 将文本中的特征转换成浮点数data.append(row)f.close()return np.mat(data)def distance(vecA, vecB):dist = (vecA - vecB) * (vecA - vecB).Treturn dist[0, 0]def randCent(data, k):n = np.shape(data)[1]  # 属性的个数centroids = np.mat(np.zeros((k, n)))  # 初始化k个聚类中心for j in xrange(n):  # 初始化聚类中心每一维的坐标minJ = np.min(data[:, j])rangeJ = np.max(data[:, j]) - minJ# 在最大值和最小值之间随机初始化centroids[:, j] = minJ * np.mat(np.ones((k , 1))) + np.random.rand(k, 1) * rangeJreturn centroidsdef kmeans(data, k, centroids):m, n = np.shape(data) # m：样本的个数，n：特征的维度subCenter = np.mat(np.zeros((m, 2)))  # 初始化每一个样本所属的类别change = True  # 判断是否需要重新计算聚类中心while change == True:change = False  # 重置for i in xrange(m):minDist = np.inf  # 设置样本与聚类中心之间的最小的距离，初始值为争取穷minIndex = 0  # 所属的类别for j in xrange(k):# 计算i和每个聚类中心之间的距离dist = distance(data[i, ], centroids[j, ])if dist < minDist:minDist = distminIndex = j# 判断是否需要改变if subCenter[i, 0] <> minIndex:  # 需要改变change = TruesubCenter[i, ] = np.mat([minIndex, minDist])# 重新计算聚类中心for j in xrange(k):sum_all = np.mat(np.zeros((1, n)))r = 0  # 每个类别中的样本的个数for i in xrange(m):if subCenter[i, 0] == j:  # 计算第j个类别sum_all += data[i, ]r += 1for z in xrange(n):try:centroids[j, z] = sum_all[0, z] / rexcept:print " r is zero"   return subCenterdef save_result(file_name, source):m, n = np.shape(source)f = open(file_name, "w")for i in xrange(m):tmp = []for j in xrange(n):tmp.append(str(source[i, j]))f.write("\t".join(tmp) + "\n")f.close()

最终的结果为：

参考文献

Arthur D, Vassilvitskii
S. k-means++: the advantages of careful seeding[C]//Eighteenth Acm-Siam Symposium
on Discrete Algorithms, SODA 2007, New Orleans, Louisiana, Usa, January.
2007:1027-1035.

简单易学的机器学习算法——K-Means++算法相关推荐

简单易学的机器学习算法——梯度提升决策树GBDT
梯度提升决策树(Gradient Boosting Decision Tree,GBDT)算法是近年来被提及比较多的一个算法,这主要得益于其算法的性能,以及该算法在各类数据挖掘以及机器学习比赛中的卓越 ...
简单易学的机器学习算法——Metropolis-Hastings算法
在简单易学的机器学习算法--马尔可夫链蒙特卡罗方法MCMC中简单介绍了马尔可夫链蒙特卡罗MCMC方法的基本原理,介绍了Metropolis采样算法的基本过程,这一部分,主要介绍Metropolis-H ...
k均值聚类算法(K Means)及其实战案例
算法说明 K均值聚类算法其实就是根据距离来看属性,近朱者赤近墨者黑.其中K表示要聚类的数量,就是说样本要被划分成几个类别.而均值则是因为需要求得每个类别的中心点,比如一维样本的中心点一般就是求这些样本 ...
kmeans改进 matlab,基于距离函数的改进k―means 算法
摘要:聚类算法在自然科学和和社会科学中都有很普遍的应用,而K-means算法是聚类算法中经典的划分方法之一.但如果数据集内相邻的簇之间离散度相差较大,或者是属性分布区间相差较大,则算法的聚类效果十分有 ...
百面机器学习—7.K均值算法、EM算法与高斯混合模型要点总结
文章目录一.总结K均值算法步骤二.如何合理选择K值? 三.K均值算法的优缺点是什么? 四.如何对K均值算法进行调优? 五.EM算法解决什么问题? 六.EM算法流程是什么? 六.EM算法能保证收敛嘛 ...
机器学习：k邻近算法(KNN)
title: 机器学习:k邻近算法(KNN) date: 2019-11-16 20:20:41 mathjax: true categories: 机器学习 tags: 机器学习什么是K邻近算法? ...
python人工智能——机器学习——分类算法-k近邻算法
分类算法-k近邻算法(KNN) 定义:如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别,则该样本也属于这个类别. 来源:KNN算法最早是由Cover和Hart提 ...
第4章最基础的分类算法-k近邻算法
思想极度简单应用数学知识少效果好(缺点?) 可以解释机器学习算法使用过程中的很多细节问题更完整的刻画机器学习应用的流程 distances = [] for x_train in X_train ...
09_分类算法--k近邻算法（KNN）、案例、欧氏距离、k-近邻算法API、KNeighborsClassifier、及其里面的案例（网络资料+学习资料整理笔记）
1 分类算法–k近邻算法(KNN) 定义:如果一个样本在特征空间中**k个最相似(即特征空间中最邻近)**的样本中的大多数属于某一个类别,则该样本也属于这个类别,则该样本也属于这个类别. k-近邻算法 ...
惰性学习算法 ---- k 近邻算法
惰性学习算法 ---- k 近邻算法 KNN 是惰性学习算法的典型例子.说它具有惰性不是因为它看起来简单,而是因为它仅仅对训练数据集有记忆功能,而不会从训练集中通过学习得到一个函数. 这种基于记忆 ...

简单易学的机器学习算法——K-Means++算法

一、K-Means算法存在的问题

二、K-Means++算法的思路

参考文献

简单易学的机器学习算法——K-Means++算法相关推荐

最新文章

热门文章