【算法周】人以类聚咋个聚！K-means了解一下~(下篇）

欢迎关注哈希大数据微信公众号《哈希大数据》

接上篇

4.K-Means距离计算优化elkan K-Means

在传统的K-Means算法中，我们在每轮迭代时，要计算所有的样本点到所有的质心的距离，这样会比较的耗时。那么，对于距离的计算有没有能够简化的地方呢？elkan K-Means算法就是从这块入手加以改进。它的目标是减少不必要的距离的计算。那么哪些距离不需要计算呢？

elkan K-Means利用了两边之和大于等于第三边,以及两边之差小于第三边的三角形性质，来减少距离的计算。

第一种规律是对于一个样本点xx和两个质心μ_j1,μ_j2。如果我们预先计算出了这两个质心之间的距离D(j₁,j₂)D(j₁,j₂)，则如果计算发现2D(x,j₁)≤D(j₁,j₂),我们立即就可以知道D(x,j₁)≤D(x,j₂)。此时我们不需要再计算D(x,j₂)D(x,j₂),也就是说省了一步距离计算。

第二种规律是对于一个样本点x和两个质心μ_j1,μ_j2。我们可以得到D(x,j₂)≥max{0,D(x,j₁)−D(j₁,j₂)}。这个从三角形的性质也很容易得到。

利用上边的两个规律，elkan K-Means比起传统的K-Means迭代速度有很大的提高。但是如果我们的样本的特征是稀疏的，有缺失值的话，这个方法就不使用了，此时某些距离无法计算，则不能使用该算法。

5.大样本优化Mini Batch K-Means

在统的K-Means算法中，要计算所有的样本点到所有的质心的距离。如果样本量非常大，比如达到10万以上，特征有100以上，此时用传统的K-Means算法非常的耗时，就算加上elkan K-Means优化也依旧。在大数据时代，这样的场景越来越多。此时Mini Batch K-Means应运而生。

顾名思义，Mini Batch，也就是用样本集中的一部分的样本来做传统的K-Means，这样可以避免样本量太大时的计算难题，算法收敛速度大大加快。当然此时的代价就是我们的聚类的精确度也会有一些降低。一般来说这个降低的幅度在可以接受的范围之内。

在Mini Batch K-Means中，我们会选择一个合适的批样本大小batch size，我们仅仅用batch size个样本来做K-Means聚类。那么这batch size个样本怎么来的？一般是通过无放回的随机采样得到的。

为了增加算法的准确性，我们一般会多跑几次Mini Batch K-Means算法，用得到不同的随机采样集来得到聚类簇，选择其中最优的聚类簇。

6.K-Means与KNN

初学者很容易把K-Means和KNN搞混，两者其实差别还是很大的。

K-Means是无监督学习的聚类算法，没有样本输出；而KNN是监督学习的分类算法，有对应的类别输出。KNN基本不需要训练，对测试集里面的点，只需要找到在训练集中最近的k个点，用这最近的k个点的类别来决定测试点的类别。而K-Means则有明显的训练过程，找到k个类别的最佳质心，从而决定样本的簇类别。

当然，两者也有一些相似点，两个算法都包含一个过程，即找出和某一个点最近的点。两者都利用了最近邻(nearest neighbors)的思想。

7.K-Means小结

K-Means是个简单实用的聚类算法，这里对K-Means的优缺点做一个总结。

K-Means的主要优点有：

1）原理比较简单，实现也是很容易，收敛速度快。

2）聚类效果较优。

3）算法的可解释度比较强。

4）主要需要调参的参数仅仅是簇数k。

K-Means的主要缺点有：

1）K值的选取不好把握

2）对于不是凸的数据集比较难收敛

3）如果各隐含类别的数据不平衡，比如各隐含类别的数据量严重失衡，或者各隐含类别的方差不同，则聚类效

4）采用迭代方法，得到的结果只是局部最优。

5）对噪音和异常点比较的敏感。

【算法周】人以类聚咋个聚！K-means了解一下~(下篇）相关推荐

【算法周】人以类聚咋个聚！K-means了解一下~(上篇）
欢迎关注哈希大数据微信公众号<哈希大数据> 上一周我们给大家讲了四篇机器学习的扫盲篇,把机器学习需要的一些常识以及需要的计算机环境理了一遍,这一周我们的系列名称是[算法周]!!毕竟算法是机 ...
我有一个梦想，希望每一位提到算法的人，不再立即紧皱眉头
点击关注异步图书,置顶公众号每天与你分享 IT好书技术干货职场知识参与文末话题讨论,每日赠送异步图书--异步小编多年来,我有一个梦想,希望每一位提到算法的人,不再立即紧皱眉头,脑海闪现枯燥 ...
《创业算法 - 技术人创业的认知升级》
<创业算法 - 技术人创业的认知升级> 在最近热门的关于人工智能之父,认知心理学的创始人赫伯特西蒙的认知一书中讲到,人类的思维认知过程可以借鉴计算机的运算过程.这种跨学科的做法诞生了改变世 ...
牛客算法周周练2 B Music Problem（DP，抽屉原理，二进制拆分）
链接:https://ac.nowcoder.com/acm/contest/5203/B 来源:牛客网题目描述 Listening to the music is relax, but for o ...
测试算法(性能)的工具类
记录几个测试算法性能的工具类,方便以后测试算法. Stopwatch类:可以得到算法的执行时间(单位:s,小数点后3位) 1: public class Stopwatch { 2: private ...
重庆市计算机专业高考试题,今年重庆高校毕业生达21.1万人计算机类专业需求大...
记者24日从重庆市教委获悉,2016年全市普通高校毕业生21.1万人,比2015年增加1万人.对于熟悉和精通计算机.信息技术的大学毕业生将面临更多的工作机会,市场营销.法学.管理.财会等文科类专业的需 ...
9月第1周国内搜索类网站频道：百度覆盖数创新高
根据国际统计机构Alexa公布的最新数据显示,9月第1周(2013-09-02至2013-09-08),国内搜索类网站/频道排行榜中,百度以130300的周均用户覆盖数居于榜首,排行第二的是覆盖数为2 ...
java 类数组_Java常用类-字符串、日期类、算法及数组工具类等
大家好,乐字节的小乐又和大家见面了.这次要给大家讲述的是Java常用类. 主要有以下知识点: Ø 字符串相关类(String .StringBuffer.StringBuilder) Ø 算法及数组工 ...
第二周 Linux文件管理类命令及bash基本特性
第二周 Linux文件管理类命令及bash基本特性摘要 1.描述Linux上的文件管理类命令并详解. 2.描述Bash的工作特性. 3.描述文件的元数据信息详解. 4.描述命令别名的使用. 5.详解 ...

【算法周】人以类聚咋个聚！K-means了解一下~(下篇）

【算法周】人以类聚咋个聚！K-means了解一下~(下篇）相关推荐

最新文章

热门文章