简单粗暴理解与实现机器学习之聚类算法(四):模型评估、误差平方和SSE、“肘”方法 、轮廓系数法、CH系数
聚类算法
文章目录
- 聚类算法
- 学习目标
- 6.4 模型评估
- 1 误差平方和(SSE \The sum of squares due to error):
- 2 **“肘”方法 (Elbow method)** — K值确定
- 3 轮廓系数法(Silhouette Coefficient)
- 4 CH系数(Calinski-Harabasz Index)
- 5 总结
学习目标
- 掌握聚类算法实现过程
- 知道K-means算法原理
- 知道聚类算法中的评估模型
- 说明K-means的优缺点
- 了解聚类中的算法优化方式
- 应用Kmeans实现聚类任务
6.4 模型评估
1 误差平方和(SSE \The sum of squares due to error):
举例:(下图中数据-0.2, 0.4, -0.8, 1.3, -0.7, 均为真实值和预测值的差)
在k-means中的应用:
公式各部分内容:
上图中: k=2
SSE图最终的结果,对图松散度的衡量.(eg: SSE(左图)<SSE(右图))
SSE随着聚类迭代,其值会越来越小,直到最后趋于稳定:
- 如果质心的初始值选择不好,SSE只会达到一个不怎么好的局部最优解.
2 “肘”方法 (Elbow method) — K值确定
(1)对于n个点的数据集,迭代计算k from 1 to n,每次聚类完成后计算每个点到其所属的簇中心的距离的平方和;
(2)平方和是会逐渐变小的,直到k==n时平方和为0,因为每个点都是它所在的簇中心本身。
(3)在这个平方和变化过程中,会出现一个拐点也即“肘”点,下降率突然变缓时即认为是最佳的k值。
在决定什么时候停止训练时,肘形判据同样有效,数据通常有更多的噪音,在增加分类无法带来更多回报时,我们停止增加类别。
3 轮廓系数法(Silhouette Coefficient)
结合了聚类的凝聚度(Cohesion)和分离度(Separation),用于评估聚类的效果:
目的:
内部距离最小化,外部距离最大化
计算样本i到同簇其他样本的平均距离ai,ai 越小样本i的簇内不相似度越小,说明样本i越应该被聚类到该簇。
计算样本i到最近簇Cj 的所有样本的平均距离bij,称样本i与最近簇Cj 的不相似度,定义为样本i的簇间不相似度:bi =min{bi1, bi2, …, bik},bi越大,说明样本i越不属于其他簇。
求出所有样本的轮廓系数后再求平均值就得到了平均轮廓系数。
平均轮廓系数的取值范围为[-1,1],系数越大,聚类效果越好。
簇内样本的距离越近,簇间样本距离越远
案例:
下图是500个样本含有2个feature的数据分布情况,我们对它进行SC系数效果衡量:
n_clusters = 2 The average silhouette_score is : 0.7049787496083262
n_clusters = 3 The average silhouette_score is : 0.5882004012129721
n_clusters = 4 The average silhouette_score is : 0.6505186632729437
n_clusters = 5 The average silhouette_score is : 0.56376469026194
n_clusters = 6 The average silhouette_score is : 0.4504666294372765
n_clusters 分别为 2,3,4,5,6时,SC系数如下,是介于[-1,1]之间的度量指标:
每次聚类后,每个样本都会得到一个轮廓系数,当它为1时,说明这个点与周围簇距离较远,结果非常好,当它为0,说明这个点可能处在两个簇的边界上,当值为负时,暗含该点可能被误分了。
从平均SC系数结果来看,K取3,5,6是不好的,那么2和4呢?
k=2的情况:
k=4的情况:
n_clusters = 2时,第0簇的宽度远宽于第1簇;
n_clusters = 4时,所聚的簇宽度相差不大,因此选择K=4,作为最终聚类个数。
4 CH系数(Calinski-Harabasz Index)
Calinski-Harabasz:
类别内部数据的协方差越小越好,类别之间的协方差越大越好(换句话说:类别内部数据的距离平方和越小越好,类别之间的距离平方和越大越好),
这样的Calinski-Harabasz分数s会高,分数s高则聚类效果越好。
tr为矩阵的迹, Bk为类别之间的协方差矩阵,Wk为类别内部数据的协方差矩阵;
m为训练集样本数,k为类别数。
使用矩阵的迹进行求解的理解:
矩阵的对角线可以表示一个物体的相似性
在机器学习里,主要为了获取数据的特征值,那么就是说,在任何一个矩阵计算出来之后,都可以简单化,只要获取矩阵的迹,就可以表示这一块数据的最重要的特征了,这样就可以把很多无关紧要的数据删除掉,达到简化数据,提高处理速度。
CH需要达到的目的:
用尽量少的类别聚类尽量多的样本,同时获得较好的聚类效果。
5 总结
1. 肘部法
下降率突然变缓时即认为是最佳的k值
2. SC系数
取值为[-1, 1],其值越大越好
3. CH系数
分数s高则聚类效果越好
简单粗暴理解与实现机器学习之聚类算法(四):模型评估、误差平方和SSE、“肘”方法 、轮廓系数法、CH系数相关推荐
- 机器学习:聚类算法的模型评估指标:轮廓系数
不同于分类模型和回归,聚类算法的模型评估不是一件简单的事. 在分类中,有直接结果(标签)的输出,并且分类的结果有正误之分,所以使用预测的准确度,混淆矩阵,ROC曲线等指标来进行评估.但无论如何评估,都 ...
- [Python从零到壹] 十三.机器学习之聚类算法四万字总结全网首发(K-Means、BIRCH、树状聚类、MeanShift)
欢迎大家来到"Python从零到壹",在这里我将分享约200篇Python系列文章,带大家一起去学习和玩耍,看看Python这个有趣的世界.所有文章都将结合案例.代码和作者的经验讲 ...
- 简单粗暴理解与实现机器学习之逻辑回归:逻辑回归介绍、应用场景、原理、损失以及优化...
作者 | 汪雯琦 责编 | Carol 来源 | CSDN 博客 出品 | AI科技大本营(ID:rgznai100) 学习目标 知道逻辑回归的损失函数 知道逻辑回归的优化方法 知道sigmoid函数 ...
- 简单粗暴理解与实现机器学习之K-近邻算法(三):距离度量、欧氏距离、曼哈顿距离、切比雪夫距离、闵可夫斯基距离、标准化距离、余弦距离、汉明距离、杰卡德距离、马氏距离
K-近邻算法 文章目录 K-近邻算法 学习目标 1.3 距离度量 1 欧式距离**(Euclidean Distance):** 2 **曼哈顿距离(Manhattan Distance):** 3 ...
- 简单粗暴理解与实现机器学习之K-近邻算法(十):交叉验证,网格搜索(模型选择与调优)API、鸢尾花案例增加K值调优
K-近邻算法 文章目录 K-近邻算法 学习目标 1.10 交叉验证,网格搜索 1 什么是交叉验证(cross validation) 1.1 分析 1.2 为什么需要交叉验证 **问题:那么这个只是对 ...
- [学习笔记] [机器学习] 8. 聚类算法(聚类算法:K-means、K-means++;聚类算法评估;特征降维:特征选择(Pearson相关系数、Spearman相关系数)、PCA主成分分析)
视频链接 数据集下载地址:无需下载 1. 聚类算法简介 学习目标: 掌握聚类算法实现过程 知道 K-means 算法原理 知道聚类算法中的评估模型 说明 K-means 的优缺点 了解聚类中的算法优化 ...
- 机器理解大数据秘密:聚类算法深度剖析
在理解大数据方面,聚类是一种很常用的基本方法.近日,数据科学家兼程序员 Peter Gleeson 在 freeCodeCamp 发布了一篇深度讲解文章,对一些聚类算法进行了基础介绍,并通过简单而详细 ...
- 【火炉炼AI】机器学习023-使用层次聚类算法构建模型
[火炉炼AI]机器学习023-使用层次聚类算法构建模型 (本文所使用的Python库和版本号: Python 3.6, Numpy 1.14, scikit-learn 0.19, matplotli ...
- 【机器学习】聚类算法DBSCAN、K-means、Mean Shift对比分析及具体代码实现
[机器学习]聚类算法DBSCAN.K-means.Mean Shift对比分析及具体代码实现 一.DBSCAN算法(具有噪声的基于密度的聚类方法) 1.算法原理 基于数据分布密度不同对数据进行聚类,把 ...
- 机器学习之聚类算法——聚类效果评估可视化
我曾在机器学习之聚类算法应用篇中介绍过,聚类算法常使用轮廓系数来评估聚类效果,不过有时候并不是轮廓系数越大越好,如下面两幅图所示,图中的红色虚线表示聚类系数分数: 显然将簇数据设置为2的时候得到的轮廓 ...
最新文章
- FileUpload生成图片水印,文字水印(转载)
- Android View关系图
- android 图片压缩
- Synchronize对象锁
- mysql 锁命令_MySQL锁定状态查看命令
- PAT ---- 1029. 旧键盘(20)
- 操作系统 --- 进程和管程的不同
- hdu 5023 线段树染色问题
- Java对象运行时在内存中的情况
- python自学书-大牛推荐的10本学习 Python 的好书
- Atitit. 数据库-----catalog与schema的设计区别以及在实际中使用 获取数据库所有库表 java jdbc php c#.Net
- android+显示ui布局,[Android ]UI布局 (线性布局+相对布局)
- Linux系统学习环境搭建 - 跟小智一起学网络(3)
- 两个PDF比较标出差异_[连玉君专栏]如何检验分组回归后的组间系数差异?
- [微信] 微信商户号 资金解决方案 自动提现 关闭
- 介绍自己过去现在和未来_过去,现在和未来
- java英雄国度加速版_谷得游戏 - 评价 | TapTap 发现好游戏
- IEC61850笔记--开源代码libIEC61850(二)
- 《文明之光 第一册》一一7.3 第二节 最珍贵的财富(1)
- SCI和国自然标书的难度对比,谁更难?
热门文章
- SVO2:一些失败的经验
- redis中hget命令
- 【python】2022年618一起抢优惠券
- 月关“历史网络小说第一人”:第四届橙瓜网络文学奖十佳历史大神
- 自动打卡python脚本_[python][企业微信]企业微信自动打卡Python脚本,价值一万元的自动打卡脚本...
- Shell中的while用法
- Python字符串函数使用详解
- 高版本linux安装gamit,Ubuntu14下Gamit安装(示例代码)
- JS 增加或减少时间(根据天、小时、分钟、秒)
- CAD查找属性快文字