K均值(Kmeans)是最基本的聚类算法。优点是简单易实现，缺点是需要预先指定簇的个数，并且聚类效果不稳定，易受初始化质心的影响

核心思想

将样本点指派到最近的质心所在簇，逐步更新簇的质心。

算法流程

Input: 训练数据集data, 簇的个数， MSE阈值epsilon, 最大迭代次数maxstep
Out: 簇的质心坐标以及样本点簇标记
Step1:初始化质心。
Step2: 将样本点指派到最近的质心所在簇。
Step3: 计算样本的MSE(所有样本到其归属簇质心的距离平方的均值，也称为各个类畸变程度之和)。若小于epsilon，则终止迭代，反之转步骤4
Step4: 更新簇质心(即该簇包含所有样本的坐标均值)。转步骤2

代码

"""
K均值聚类算法
给定初始簇的个数，迭代更改样本与簇的隶属关系，更新簇的中心为样本的均值
"""
from collections import defaultdict
import numpy as np
import copyclass KMEANS:def __init__(self, n_cluster, epsilon=1e-2, maxstep=2000):self.n_cluster = n_clusterself.epsilon = epsilonself.maxstep = maxstepself.N = Noneself.centers = Noneself.cluster = defaultdict(list)def init_param(self, data):# 初始化参数, 包括初始化簇中心self.N = data.shape[0]random_ind = np.random.choice(self.N, size=self.n_cluster)self.centers = [data[i] for i in random_ind]  # list存储中心点坐标数组for ind, p in enumerate(data):self.cluster[self.mark(p)].append(ind)returndef _cal_dist(self, center, p):# 计算点到簇中心的距离平方return sum([(i - j) ** 2 for i, j in zip(center, p)])def mark(self, p):# 计算样本点到每个簇中心的距离，选取最小的簇dists = []for center in self.centers:dists.append(self._cal_dist(center, p))return dists.index(min(dists))def update_center(self, data):# 更新簇的中心坐标for label, inds in self.cluster.items():self.centers[label] = np.mean(data[inds], axis=0)returndef divide(self, data):# 重新对样本聚类tmp_cluster = copy.deepcopy(self.cluster)  # 迭代过程中，字典长度不能发生改变，故deepcopyfor label, inds in tmp_cluster.items():for i in inds:new_label = self.mark(data[i])if new_label == label:  # 若类标记不变，跳过continueelse:self.cluster[label].remove(i)self.cluster[new_label].append(i)returndef cal_err(self, data):# 计算MSEmse = 0for label, inds in self.cluster.items():partial_data = data[inds]for p in partial_data:mse += self._cal_dist(self.centers[label], p)return mse / self.Ndef fit(self, data):self.init_param(data)step = 0while step < self.maxstep:step += 1self.update_center(data)self.divide(data)err = self.cal_err(data)if err < self.epsilon:breakreturnif __name__ == '__main__':from sklearn.datasets import make_blobsfrom itertools import cycleimport matplotlib.pyplot as pltdata, label = make_blobs(centers=4, cluster_std=1.2)km = KMEANS(4)km.fit(data)cluster = km.clusterdef visualize(data, cluster):color = 'bgrym'for col, inds in zip(cycle(color), cluster.values()):partial_data = data[inds]plt.scatter(partial_data[:, 0], partial_data[:, 1], color=col)plt.show()returnvisualize(data, cluster)

我的GitHub
注：如有不当之处，请指正。

聚类——K均值简介及Python实现相关推荐

算法-聚类-K均值与模糊K均值：原理+python代码
这篇文章是根据作业修改后得到的,个人感觉写的比较详细了.但还有许多不足,希望大家评论指出. K均值聚类与模糊K均值 1. 算法原理及流程相关名词解释如表1. 表1-相关名词解释 1.1 K均值算法原 ...
图像聚类-K均值聚类
最近做的一个东西跟这个相关,本来希望是用深度学习对于没有标签的图像数据进行分类,但是通常情况下,深度学习是对有标签的数据进行学习,目的是用来自动提取特征,代替传统的手工提取特征.因此,比较容易想到,对 ...
聚类--K均值算法：自主实现与sklearn.cluster.KMeans调用
import numpy as np x=np.random.randint(1,100,[20,1]) #在1-100范围中产生20行1列的随机数组 y=np.zeros(20) k=3 #取数据中 ...
Python，OpenCV中的K均值聚类——K-Means Cluster
Python,OpenCV中的K均值聚类 1. 效果图 2. 原理 2.1 什么是K均值聚类? 2.2 K均值聚类过程 2.3 cv2.kmeans(z, 2, None, criteria, 10, ...
K均值 - 案例实现（python）
K均值 K均值案例(python) 背景介绍算法定义 K值的选取案例实现(python) 数据集代码实现运行结果总结参考文献 K均值案例(python) k均值聚类算法(k-means c ...
（学习笔记）聚类算法 - k均值算法(k-means)
聚类之K均值算法聚类介绍 k均值算法步骤 Python实现参考文献聚类介绍聚类是一种经典的无监督学习方法. 聚类的目的是将数据集中的样本划分为若干个通常是不相交的子集,每个子集被称为簇,以此来 ...
EM算法应用：k均值聚类(k-means)和高斯混合模型(GMM)
文章目录 k-means聚类 EM角度的理解算法流程特点 k值选择局限性高斯混合模型 GMM的问题描述 1,明确隐变量 2.EM算法的E步:确定Q函数 3. EM算法的E步 4. 停止条件上 ...
多元统计分析--聚类分析（系统性聚类、K均值聚类）
摘要系统聚类分为Q型聚类与R型聚类.前者对样品进行聚类,后者对变量进行聚类.在本文中,我们探讨对样品的分类. 文章目录摘要主要思想相似性的度量系统聚类 K均值聚类主要思想聚类,在样品没有 ...
非监督学习： K 均值聚类（原理、步骤、优缺点、调优）
支持向量机.逻辑回归.决策树等经典的机器学习算法主要用于分类问题,即根据一些己给定类别的样本, 训练某种分类器,使得它能够对类别未知的样本进行分类.与分类问题不同,聚类是在事先并不知道任何样本类别标签 ...
无监督分类：聚类分析（K均值）
1.K均值聚类 K均值聚类是最基础的一种聚类方法.K均值聚类,就是把看起来最集中.最不分散的簇标签分配到输入训练样本{xi}中.具体而言就是通过下式计算簇y的分散状况: 在这里,∑i,yi=y表示的是 ...

聚类——K均值简介及Python实现

核心思想

算法流程

代码

聚类——K均值简介及Python实现相关推荐

最新文章

热门文章