十三、聚类

13.1 无监督学习

13.2 K-Means算法

聚类算法——K-Means算法；
本节问题：

K-Means算法的原理；
K-Means算法的使用；

随机初始化N个聚类中心；
while(true)
{簇分配：计算所有点到这N个聚类中心的距离，从而把数据分为N个簇（隔得最近的一个簇）；计算均值：对于每一个簇，计算各点到该簇聚类中心的距离，取平均值移动聚类中心：移动该聚类中心到平均值处；
}

距离是欧几里得距离；

衣服尺寸的划分有点像是无监督算法的市场化；

Q：如果有一个聚类中心，它没有被分配到任何一个点，怎么办？
A：一般情况移除这个聚类中心，但是聚类中心就会从K变为K-1；如果想保持K个聚类，则在初始化这个点一次；

13.3 优化目标

本节目标：

K-Means算法的优化目标是什么，为何这么定义？

失真函数

两步最小化，给聚类中心分配点时以及移动聚类中心时；‘

13.4 随机初始化

本节问题：

如何随机初始化？

随机化初始聚类中心，其实就是在样本中随机选k个点作为聚类中心；

K-Means算法可能落在局部最优；

解决局部最优问题就是多次随机初始化，找到最好的解（畸变函数最小，即代价最小）；
如果聚类数很少，比如3，4，5个，那么多次随机初始化会有明显的较好的结果，如果聚类数很多，那么下一次随机初始化不一定比上次有多大的进步；

13.5 选择聚类数

本节问题：

如何选择合适的聚类数；

常用方法还是观察可视化图，手动选择；因为数据的无标签特性，也是无监督算法的特性，所以自动选择聚类数量是很困难的；

肘部法则：前期随着K增加 J明显下降，后期缓和下降，那么拐点处一般作为K；但如果这个图像不怎么明显，而是缓和下降，那么这个法则就难以适用；

另一个方法就是看哪个K能更好的适用后续目的（分类后的目的）

吴恩达《机器学习》第十三章：聚类相关推荐

吴恩达机器学习（第一章）——初识机器学习
第一章初识机器学习文章目录第一章初识机器学习前言机器学习定义机器学习算法监督学习无监督学习学习工具前言 Machine Learning: Grewout of work in ...
吴恩达机器学习（十三）异常检测（高斯分布）
目录 0. 前言 1. 高斯分布(Gaussian distribution) 2. 参数估计 3. 异常检测算法(原始模型) 4. 高斯分布异常阈值的选择 5. 多变量高斯分布(多元模型) 6. 原 ...
吴恩达机器学习笔记——第一章
每学完一章都来写一篇博客,用来总结回顾和反思. 一.机器学习的一些简单应用我们可以利用计算机实现基础的功能:例如计算A到B的最短路径. 但是网页搜索.垃圾邮件的过滤.图片识别等功能需要应用机器学 ...
【吴恩达机器学习笔记】8聚类、降维
13聚类(Clustering) 13.1 无监督学习简介(Unsupervised Learning Introduction) 在一个典型的监督学习中,有一个有标签的训练集,目标是找到能够区分正样 ...
吴恩达机器学习（第二章）——单变量线性回归
第二章-单变量线性回归文章目录第二章-单变量线性回归模型描述代价函数梯度下降梯度下降的思想梯度下降算法的公式梯度下降的运动方式线性回归的梯度下降模型描述在监督学习中我们有一个数据 ...
吴恩达机器学习笔记十三之推荐系统
本节目录 1 问题形式化 2 基于内容的推荐系统 3 协同过滤 4 向量化:低秩矩阵分解 5 推行工作上的细节:均值归一化 1 问题形式化对机器学习来说,特征是很重要的,你所选择的特征,将对你学习算 ...
matlab版吴恩达机器学习第五章笔记
机器学习matlab操作基础 1.基本操作 2.移动数据 3.计算数据 4.绘图数据 5.控制语句:for,while,if语句 6.向量化 1.基本操作参考视频: 5 - 1 - Basic Op ...
吴恩达机器学习第四章
4.1 多维特征参考视频: 4 - 1 - Multiple Features (8 min).mkv 前几章,我们学习了单变量/特征的回归模型,现在我们对房价模型增加更多的特征, 例如房间数楼层等 ...
西瓜书+实战+吴恩达机器学习（十三）监督学习之随机森林 Random Forest
文章目录 0. 前言 1. 随机森林算法如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔,我会非常开心的~ 0. 前言 Bagging:对数据集进行有放回采样,采mmm次构成一个新的数据集,基 ...
吴恩达机器学习（十三）使用matlab实现代价函数
文章目录 1.回顾 2.代价函数的代码实现 1.回顾假设函数: hθ(x) = θ0 + θ1x 代价函数: 2.代价函数的代码实现现有一个数据集,目标是定义一个函数来计算代价函数J(θ),不同θ ...

吴恩达《机器学习》第十三章：聚类

文章目录