R语言之离群点检验(part3)--利用聚类检测离群点

学习笔记

参考文献：《R语言与数据挖掘》

PS:本篇Blog以用R语言应用为主，原理部分请移步《多元统计分析》学习笔记之聚类分析

利用聚类分析检测离群点

聚类检测原理

有一种检测离群点的方法是聚类。例如，基于DBSCAN密度聚类，如果两个对象之间是密度可达的，则这两个对象将被划分到同一组，因此，那些没有被划分到任何一组的对象与其他对象是相互孤立的，这些孤立的对象则被认为是离群点。

啥是密度可达？
如果点α\alphaα的邻域内包含点的数目不少于MinPts，则α\alphaα是密集点(核心点)，而α\alphaα邻域内所有点从α\alphaα出发都是密度可达的，可将这些点与α\alphaα划分在同一个簇中。

在这里，我们以k−meansk-meansk−means聚类算法来检测离群点。使用k−meansk-meansk−means聚类，将数据划分为k组，每一个观测点都划分到与之距离最小的分组，然后计算每个观测点与组重心的距离，并将距离最大的对象作为离群点。

图示：

由上图可知，数据被聚类为了3类，其中我们看组2(G2)的5号观测点，这个观测点貌似有一点’不合群’，且在所有的观测点中，5号观测点离自己的组重心最远，所以可以把它看做离群点。

R语言实现

利用R自带的鸢尾花数据集，并使用k−meansk-meansk−means聚类法检测离群点。

代码：

#拿到iris数据集中的数值型数据
iris_test <- iris[, 1:4]
#得到聚类结果
result <- kmeans(iris_test, centers = 3)
#这行请复制代码，在电脑中自行领会，不太会表达
center <- result$centers[result$cluster, ]
#计算每个观测点，到其组重心的距离
distances <- sqrt(rowSums(iris_test - center)^2)
#对距离进行降序排序，拿到距离最远的5个观测点的行号
outpoints <- order(distances, decreasing = T)[1:5]
print(iris_test[outpoints, ])#绘图
plot(iris_test[, c("Sepal.Length", "Sepal.Width")], pch = 'o', col = result$cluster, cex = 0.3)
points(result$centers[, c("Sepal.Length", "Sepal.Width")], col = c(1:3), pch = 8, cex = 1)points(iris_test[outpoints, c("Sepal.Length", "Sepal.Width")], pch = '+', col = 4, cex = 1.5)

控制台输出结果：

> print(iris_test[outpoints, ])Sepal.Length Sepal.Width Petal.Length Petal.Width
61           5.0         2.0          3.5         1.0
94           5.0         2.3          3.3         1.0
58           4.9         2.4          3.3         1.0
99           5.1         2.5          3.0         1.1
118          7.7         3.8          6.7         2.2

图像：

后记：DBSCAN密度聚类笔者已经有1年多没碰过了，若有错误求指出。