​，找出簇中心

​来最小化平方误差：

个类中心，让所有样本被分在簇内的话样本相似度越高。但是这是个NP难问题，通常使用迭代优化来近似寻找

​个类中心，也就是只要误差在可接受范围内就认为找到了所有样本到类中心的最小化误差。

个簇中心，然后计算所有数据与 ​

个簇中心的距离，将数据根据与其相邻最近的簇中心分配为某个聚类，之后再次根据新的划分计算簇中心... 这样周而复始直到簇中心不再变化或者计算超出预期轮次，流程图如下：

import numpy as np
def kmeans(data, k=3, normalize=False, limit=500):# normalize 数据if normalize:stats = (data.mean(axis=0), data.std(axis=0))data = (data - stats[0]) / stats[1]# 直接将前K个数据当成簇中心centers = data[:k]for i in range(limit):# 首先利用广播机制计算每个样本到簇中心的距离，之后根据最小距离重新归类classifications = np.argmin(((data[:, :, None] - centers.T[None, :, :])**2).sum(axis=1), axis=1)# 对每个新的簇计算簇中心new_centers = np.array([data[classifications == j, :].mean(axis=0) for j in range(k)])# 簇中心不再移动的话，结束循环if (new_centers == centers).all():breakelse:centers = new_centerselse:# 如果在for循环里正常结束，下面不会执行raise RuntimeError(f"Clustering algorithm did not complete within {limit} iterations")# 如果normalize了数据，簇中心会反向 scaled 到原来大小if normalize:centers = centers * stats[1] + stats[0]return classifications, centers

data = np.random.rand(200, 2)
classifications, centers = kmeans(data, k=5)

from mpl_toolkits.mplot3d import Axes3D
import matplotlib.pyplot as plt%matplotlib inlineplt.figure(figsize=(12, 8))
plt.scatter(x=data[:, 0], y=data[:, 1], s=100, c=classifications)
plt.scatter(x=centers[:, 0], y=centers[:, 1], s=500, c='k', marker='^');
# 16轮迭代结束

data = np.random.rand(200, 2)
data[:, 0] *= 10  # 第一维扩大10倍classifications, centers = kmeans(data, k=5)plt.figure(figsize=(12, 8))
plt.scatter(x=data[:, 0], y=data[:, 1], s=100, c=classifications)
plt.scatter(x=centers[:, 0], y=centers[:, 1], s=500, c='k', marker='^');
# 13轮迭代结束

classifications, centers = kmeans(data, normalize=True, k=5)plt.figure(figsize=(12, 8))
plt.scatter(x=data[:, 0], y=data[:, 1], s=100, c=classifications)
plt.scatter(x=centers[:, 0], y=centers[:, 1], s=500, c='k', marker='^');
# 9轮迭代结束

data = np.random.rand(200, 3)classifications, centers = kmeans(data, normalize=True, k=5)fig = plt.figure(figsize=(12, 8))
ax = fig.add_subplot(111, projection='3d')ax.scatter(data[:, 0], data[:, 1], data[:, 2], c=classifications, s=100)
ax.scatter(centers[:, 0], centers[:, 1], centers[:, 2], s=500, c='k', marker='^');
# 8轮迭代