文章目录

  • 1. DBSCAN密度聚类
  • 2. 举例
  • 应用实例
    • 数据实例
    • `DBSCAN`主要参数
    • 根据上网时间聚类
    • 根据上网时长聚类
      • 输出
    • 技巧

1. DBSCAN密度聚类

  1. DBSCAN算法是一种基于密度的聚类算法。

    • 聚类的时候不需要预先指定簇的个数。
    • 最终的簇的个数不定。

  2. DBSCAN算法将数据点分为三类。

    • 核心点：在半径Eps内含有超过MinPts数目的点。
    • 边界点：在半径Eps内点的数目小于MinPts，但是落在核心点的临域内。
    • 噪音点：既不是核心点也不是边界点的点。

  3. DBSCAN算法流程

    • 将所有点标记为核心点、边界点或噪声点。
    • 删除噪声点。
    • 为距离在Eps之内的所有核心点之间赋予一条边。
    • 每组连通的核心点形成一个簇。
    • 将每个边界点指派到一个与之关联的核心点的簇中（哪一个核心点的半径范围之内）。

2. 举例

有如下13个样本点，使用DBSCAN进行聚类。

取Eps=3，MinPts=3，依 据DBSACN对所有点进行聚类 （曼哈顿距离）。

  • 对每个点计算其邻域Eps=3内的点的集合。
  • 集合内点的个数超过MinPts=3的点为核心点。
  • 查看剩余点是否在核心点的邻域内，若在，则为边界点，否则为噪声点。

将距离不超过Eps=3的点相互连接，构成一个簇，核心点邻域内的点也会被加入到这个簇中。 则形成3个簇。

应用实例

现有大学校园网的日志数据，290条大学生的校园网使用情况数据，数据包 括用户ID，设备的MAC地址，IP地址，开始上网时间，停止上网时间，上 网时长，校园网套餐等。利用已有数据，分析学生上网的模式。目的：通过DBSCAN聚类，分析学生上网时间和上网时长的模式。

数据实例

数据链接

DBSCAN主要参数

  • eps：两个样本被看作邻居节点的最大距离。
  • min_sample：簇的样本数。
  • metric：距离计算方式。

根据上网时间聚类

import numpy as np
import sklearn.cluster as skc
from sklearn import metrics
import matplotlib.pyplot as pltmac2id = dict()
online_times = []
f = open('Data/TestData', encoding='utf-8')
for line in f:# 读取每条数据中的mac地址，# 开始上网时间，上网时长mac = line.split(',')[2]online_time = int(line.split(',')[6])start_time = int(line.split(',')[4].split(' ')[1].split(':')[0])# mac2id是一个字典：# key是mac地址# value是对应mac地址的上网时长以及开始上网时间（精度为小时）if mac not in mac2id:mac2id[mac] = len(online_times)online_times.append((start_time, online_time))else:online_times[mac2id[mac]] = [(start_time, online_time)]# -1:根据元素的个数自动计算此轴的长度
# X：上网时间
real_X = np.array(online_times).reshape((-1, 2))
X = real_X[:, 0:1]# 调用DBSCAN方法进行训练，
# labels为每个数据的簇标签db = skc.DBSCAN(eps=0.01, min_samples=20).fit(X)
labels = db.labels_# 打印数据被记上的标签，
# 计算标签为-1，即噪声数据的比例。print('Labels:')
print(labels)
raito = len(labels[labels[:] == -1]) / len(labels)
print('Noise raito:', format(raito, '.2%'))# 计算簇的个数并打印，评价聚类效果n_clusters_ = len(set(labels)) - (1 if -1 in labels else 0)
print('Estimated number of clusters: %d' % n_clusters_)
print("Silhouette Coefficient: %0.3f" % metrics.silhouette_score(X, labels))# 打印各簇标号以及各簇内数据for i in range(n_clusters_):print('Cluster ', i, ':')print(list(X[labels == i].flatten()))# 画直方图，分析实验结果plt.hist(X, 24)
plt.show()

###输出

Labels:
[ 0 -1  0  1 -1  1  0  1  2 -1  1  0  1  1  3 -1 -1  3 -1  1  1 -1  1  3  4-1  1  1  2  0  2  2 -1  0  1  0  0  0  1  3 -1  0  1  1  0  0  2 -1  1  31 -1  3 -1  3  0  1  1  2  3  3 -1 -1 -1  0  1  2  1 -1  3  1  1  2  3  01 -1  2  0  0  3  2  0  1 -1  1  3 -1  4  2 -1 -1  0 -1  3 -1  0  2  1 -1-1  2  1  1  2  0  2  1  1  3  3  0  1  2  0  1  0 -1  1  1  3 -1  2  1  31  1  1  2 -1  5 -1  1  3 -1  0  1  0  0  1 -1 -1 -1  2  2  0  1  1  3  00  0  1  4  4 -1 -1 -1 -1  4 -1  4  4 -1  4 -1  1  2  2  3  0  1  0 -1  10  0  1 -1 -1  0  2  1  0  2 -1  1  1 -1 -1  0  1  1 -1  3  1  1 -1  1  10  0 -1  0 -1  0  0  2 -1  1 -1  1  0 -1  2  1  3  1  1 -1  1  0  0 -1  00  3  2  0  0  5 -1  3  2 -1  5  4  4  4 -1  5  5 -1  4  0  4  4  4  5  44  5  5  0  5  4 -1  4  5  5  5  1  5  5  0  5  4  4 -1  4  4  5  4  0  54 -1  0  5  5  5 -1  4  5  5  5  5  4  4]
Noise raito: 22.15%
Estimated number of clusters: 6
Silhouette Coefficient: 0.710
Cluster  0 :
[22, 22, 22, 22, 22, 22, 22, 22, 22, 22, 22, 22, 22, 22, 22, 22, 22, 22, 22, 22, 22, 22, 22, 22, 22, 22, 22, 22, 22, 22, 22, 22, 22, 22, 22, 22, 22, 22, 22, 22, 22, 22, 22, 22, 22, 22, 22, 22, 22, 22, 22, 22, 22, 22, 22]
Cluster  1 :
[23, 23, 23, 23, 23, 23, 23, 23, 23, 23, 23, 23, 23, 23, 23, 23, 23, 23, 23, 23, 23, 23, 23, 23, 23, 23, 23, 23, 23, 23, 23, 23, 23, 23, 23, 23, 23, 23, 23, 23, 23, 23, 23, 23, 23, 23, 23, 23, 23, 23, 23, 23, 23, 23, 23, 23, 23, 23, 23, 23, 23, 23, 23, 23, 23]
Cluster  2 :
[20, 20, 20, 20, 20, 20, 20, 20, 20, 20, 20, 20, 20, 20, 20, 20, 20, 20, 20, 20, 20, 20, 20, 20, 20, 20, 20, 20]
Cluster  3 :
[21, 21, 21, 21, 21, 21, 21, 21, 21, 21, 21, 21, 21, 21, 21, 21, 21, 21, 21, 21, 21, 21, 21, 21, 21]
Cluster  4 :
[8, 8, 8, 8, 8, 8, 8, 8, 8, 8, 8, 8, 8, 8, 8, 8, 8, 8, 8, 8, 8, 8, 8, 8, 8, 8, 8, 8]
Cluster  5 :
[7, 7, 7, 7, 7, 7, 7, 7, 7, 7, 7, 7, 7, 7, 7, 7, 7, 7, 7, 7, 7, 7, 7, 7]

根据上网时长聚类

import numpy as np
import sklearn.cluster as skc
from sklearn import metrics
import matplotlib.pyplot as pltmac2id = dict()
online_times = []
f = open('Data/TestData', encoding='utf-8')
for line in f:# 读取每条数据中的mac地址，# 开始上网时间，上网时长mac = line.split(',')[2]online_time = int(line.split(',')[6])start_time = int(line.split(',')[4].split(' ')[1].split(':')[0])# mac2id是一个字典：# key是mac地址# value是对应mac地址的上网时长以及开始上网时间（精度为小时）if mac not in mac2id:mac2id[mac] = len(online_times)online_times.append((start_time, online_time))else:online_times[mac2id[mac]] = [(start_time, online_time)]# -1:根据元素的个数自动计算此轴的长度
# X：上网时间
real_X = np.array(online_times).reshape((-1, 2))
X = np.log(1 + real_X[:, 1:])# 调用DBSCAN方法进行训练 ，
# labels为每个数据的簇标签db = skc.DBSCAN(eps=0.14, min_samples=10).fit(X)
labels = db.labels_print('Lables:')
print(labels)
raito = len(labels[labels[:] == -1]) / len(labels)
print('Noise raito:', format(raito, '.2%'))# Number of cluster in lables, ignoring noise if present.
n_clusters_ = len(set(labels)) - (1 if -1 in labels else 0)print('Estimated number of clusters: %d' % n_clusters_)
print('Silhouette Coefficient: %0.3f' % metrics.silhouette_score(X, labels))# 统计每一个簇内的样本个数 ， 均值，标准差for i in range(n_clusters_):print('Cluster ', i, ':')count = len(X[labels == i])mean = np.mean(real_X[labels == i][:, 1])std = np.std(real_X[labels == i][:, 1])print('\t number of sample: ', count)print('\t mean of sample  : ', format(mean, '.1f'))print('\t std of sample   : ', format(std, '.1f'))

输出

Lables:
[ 0  1  0  4  1  2  0  2  0  3 -1  0 -1 -1  0  3  1  0  3  2  2  1  2  0  11 -1 -1  0  0  0  0  1  0 -1  0  0  0  2  0  1  0 -1 -1  0  0  0  3  2  0-1  1  0  1  0  0 -1  2  0  0  0  1  3  3  0  2  0 -1  3  0  0  2  0  0  02  1 -1  0  0  0  0  0  0  1 -1  0  3  1  0  1  1  0  1  0  1  0  0 -1  11  0  0  2  0  0  0  2  2  0  0  0 -1  0  0  4  0  1  2 -1  0  1  0  2  0-1 -1 -1  0  1  1  3 -1  0  1  0  2  0  0  2  1  1  0  0  0  0  4 -1  0  00  0  2  0  0  0  0 -1  2  0  0  0  0  4  0  0 -1  0  2  0  0 -1  0  1  40  0 -1  1  1  0  0  2  0  0  3 -1 -1 -1  1  0  0  2  1  0 -1 -1  3  2  20  0  3  0  1  0  0  0  3  2  0 -1  0  1 -1 -1  0  2  2  1  4  0  0  1  02  0  0  0  0  1  1  0  0  1  0  4 -1 -1  0  0  0 -1 -1  1 -1  4 -1  0  22 -1  2  1  2 -1  0 -1  0  2  2  1 -1  0  1  2 -1 -1  1 -1  2 -1 -1  1  42  3  1  0  4  0  0  4  2  4  0  0  2 -1]
Noise raito: 16.96%
Estimated number of clusters: 5
Silhouette Coefficient: 0.227
Cluster  0 :number of sample:  128mean of sample  :  5864.3std of sample   :  3498.1
Cluster  1 :number of sample:  46mean of sample  :  36835.1std of sample   :  11314.1
Cluster  2 :number of sample:  40mean of sample  :  843.2std of sample   :  242.9
Cluster  3 :number of sample:  14mean of sample  :  16581.6std of sample   :  1186.7
Cluster  4 :number of sample:  12mean of sample  :  338.4std of sample   :  31.9

技巧

4. DBSCAN方法及其应用相关推荐

  1. 【数据挖掘】基于密度的聚类方法 - DBSCAN 方法 ( K-Means 方法缺陷 | 基于密度聚类原理及概念 | ε-邻域 | 核心对象 | 直接密度可达 | 密度可达 | 密度连接 )

    文章目录 I . K-Means 算法在实际应用中的缺陷 II . K-Means 初始中心点选择不恰当 III . K-Means 优点 与 弊端 IV . 基于密度的聚类方法 V . 基于密度的聚 ...

  2. 机器学习（二）聚类的DBSCAN方法及学生上网聚类分析

    一.DBSCAN算法 (1)简介 一种基于密度的聚类算法: • 聚类的时候不需要预先指定簇的个数 • 最终的簇的个数不定 (2)数据点分类 • 核心点:在半径Eps内含有超过MinPts数目的点 • ...

  3. DBSCAN方法及其应用

    DBSCAN密度聚类 举例 应用实例 数据实例 DBSCAN主要参数 根据上网时间聚类 输出 根据上网时长聚类 输出 技巧 1. DBSCAN密度聚类 DBSCAN算法是一种基于密度的聚类算法. 聚类 ...

  4. 【数据挖掘】基于密度的聚类方法 - DBSCAN 方法 ( DBSCAN 原理 | DBSCAN 流程 | 可变密度问题 | 链条现象 | OPTICS 算法引入 | 聚类层次 | 族序概念 )

    文章目录 I . DBSCAN 简介 II . DBSCAN 算法流程 III . DBSCAN 算法 优缺点 IV . 可变密度问题 V . 链条现象 VI . OPTICS 算法原理 VII . ...

  5. 点云 DBSCAN 对点云障碍物聚类

    点云数据去除地面后,地面上的点很自然的都成了障碍物,但是要进行目标分类,还需要把每个目标的一堆障碍物的点聚集到一起,然后才好进行后续的分析,因为每个点都是空间上离的很近的点,那么很自然的,就想到了可以 ...

  6. “泰迪杯”挑战赛 - 通过聚类方法对航空客运的客户进行细分

    目 录 挖掘目标 分析方法与过程 2.1. 总体流程 2.2. 具体步骤 • 步骤一:数据预处理 • 步骤二:群体聚类 • 步骤三:行为特征聚类 2.3. 结果分析 • 第一类: • 第二类: • 第 ...

  7. 【聚类之DBSCAN】DBSCAN实例

    数据介绍:现有大学校园网的日志数据, 290条大学生的校园网使用情况数据,数据包括用PID,学生编号,МAС地址,开始始上网时间,停止上网时间,上网时长,校园网套餐等.利用已有数据,分析学生上网的模式 ...

  8. 机器学习之DBSCAN算法

    DBSCAN(Density-Based Spatial Clustering of Applications with Noise)是一种基于密度的聚类算法 首先来看一个例子. 想象有一个很大的广场 ...

  9. python稳健性检验_有哪些比较好的做异常值检测的方法？

    最近很多小伙伴都比较关注异常值检测的方法,接下来小编就为大家介绍几种,希望能帮到大家!! 摘要: 本文介绍了异常值检测的常见四种方法,分别为Numeric Outlier.Z-Score.DBSCA以 ...

最新文章

  1. mybatis对mapper.xml的解析（二)
  2. 辅助类——记录错误信息
  3. java 更新jlabel_java – 如何动态更改JLabel
  4. 自己定义WinXP的时间校正服务器
  5. 开天辟地 —— Go scheduler 初始化（二）
  6. python2.7没有pip_python2.7无法使用pip怎么办
  7. 拓端tecdat|R语言自然语言处理（NLP）：情感分析新闻文本数据
  8. 软件设计原则(七) 迪米特法则
  9. linux中用户信息存储在,在linux中，用于存放用户信息的两个文件是／etc／passwd和／etc／shadow。（)...
  10. python论文排版格式_Latex论文排版工具使用教程
  11. R语言使用aov函数执行单因素方差分析、使用TukeyHSD函数分析单因素方差分析的结果并解读TukeyHSD函数的输出结果
  12. 小米6不显示与电脑连接到服务器,小米6怎么连接不上电脑没反应怎么办
  13. Azure架设Discuz论坛笔记
  14. javascript atob()函数和 btoa()函数-Base64的编码与解码
  15. Istio的授权策略
  16. 日本警方称地震造成3676人死亡7843人下落不明
  17. 最全前端面试问题及答案总结
  18. 非常适合新手的一个Python爬虫项目: 打造一个英文词汇量测试脚本!
  19. Hashmap底层源码
  20. 【编程语言】Lua完全自学手册

热门文章

  1. MapperReduce-----好友案列
  2. 金蝉机器人_《金蝉脱壳2》残暴！机器人身份姓名首次曝光监狱更具压迫感
  3. 阿里云高级技术专家白常明：边缘云的技术挑战和应用创新
  4. 文章翻译：Recommending items to more than a billion people（面向十亿级用户的推荐系统）...
  5. 2021-04-27 Android 理解frameworks services jni hardware kernel 整个控制过程实例包括回调
  6. CreateProcessAsUser的用法
  7. java jsp 获得网页源代码三种方式
  8. 华为机试2021答案
  9. 电商类微信平台推广方法有哪些？
  10. win10pe系统计算机名修改,win10系统账户用户名如何修改