数据挖掘Java——DBSCAN算法的实现

一、DBSCAN算法的前置知识

DBSCAN算法：如果一个点q的区域内包含多于MinPts个对象，则创建一个q作为核心对象的簇。然后，反复地寻找从这些核心对象直接密度可达的对象，把一些密度可达簇进行合并。当没有新的点可以被添加到任何簇时，该过程结束。

DBSCAN是一个比较有代表性的基于密度的聚类算法。与划分和层次聚类方法不同，它将簇定义为密度相连的点的最大集合，能够把具有足够高密度的区域划分为簇，并可在有“噪声”的空间数据库中发现任意形状的聚类。聚类就是将数据对象分组成为多个类或簇，划分的原则是在同一个簇中的对象之间具有较高的相似度，而不同簇中的对象差别较大。与分类不同的是，聚类操作中要划分的类是事先未知的，类的形成完全是数据驱动的，属于一种无指导的学习方法。

对象的ε-领域：给定对象在半径ε内的区域。

核心对象：如果一个对象的ε-领域至少包含最小数目MinPts个对象，则称该对象为核心对象。

直接密度可达：给定一个对象集合D，如果p是在q的ε-领域内，而q是一个核心对象，我们说对象p从对象q出发是直接密度可达的。
密度相连的：如果对象集合D中存在一个对象o，使得对象p和q是从o关于ε和MinPts密度可达的，那么对象p和q是关于ε和MinPts密度相连的。

二、DBSCAN算法的基本思想

DBSCAN是一个比较有代表性的基于密度的聚类算法。与划分和层次聚类方法不同，它将簇定义为密度相连的点的最大集合，能够把具有足够高密度的区域划分为簇，并可在有“噪声”的空间数据库中发现任意形状的聚类。
从数据库中抽取一个未处理过的点，如果抽出的点是核心点，那么找出所有从该点密度可达的对象，形成一个簇；如果抽出的点是边缘点（非核心对象），跳出本次循环，寻找下一点，直到所有点都被处理。

三、DBSCAN算法的例子

DBSCAN算法例子

四、DBSCAN算法的实现过程

实验内容
有如下二维数据集，取ε =2，minpts=3，请使用DBSCAN算法对其聚类（使用曼哈顿距离）

实验思路
（1）定义Point类，Point类中含横坐标x，纵坐标y等属性，包含静态方法getIsSame()：判断两个Point类对象是否相同、calculateDistance()方法：计算两个Point类对象之间的距离（欧氏距离）、calculateMHDDistance()方法：计算两个Point类对象之间的距离（曼哈顿距离）。定义ExcelData类，ExcelData类中包含横坐标x（添加注解@ExcelProperty(value=“横坐标”)），纵坐标y（添加注解@ExcelProperty(value=“纵坐标”)），ExcelData类主要用于读取excel文件的数据映射到ExcelData类中。定义Cluster类，在Cluster类中包含属性核心点corePoint，簇内的所有点的集合sameList。
（2）定义初始数据集dataList，定义半径e，定义核心对象e领域内对象的最少数目MinPts，调用getFileData()方法对初始数据集进行初始化。在getFileData()方法体内部使用EasyExcel对excel文件进行读取并映射到ExcelData类对象中，将ExcelData类对象中的属性x和属性y作为构造参数，实例化出Point类对象point，并将所有的point添加到dataList集合中，完成对数据集的初始化。
（3）创建clusterList集合，用于存放所有的簇。遍历dataList集合中的每一个Point类对象point，在循环体内部，调用getEPointList()方法获取一个Point类对象领域内所有的点集合ePointList，如果ePointList集合的长度不小于MinPts，说明点point是核心对象，则实例化一个以point为核心对象的簇cluster，并用ePointList实例化簇cluster的sameList属性，然后调用canReachPoint()方法遍历核心对象直接密度可达的点，合并其所有密度可达的点，将最终的簇newCluster加入到簇集合newCluster中。在循环体内部首先调用isExitCluster()方法判断是否点已经存在于某个簇中，已经在簇中的点则不再考虑，不再执行循环体内接下来的代码，直接开始遍历下一次循环，直到遍历过dataList集合中的每一项后，循环结束。
（4）遍历clusetrList集合，将集合中的每一项cluster输出即可。
（5）在isExistCluster()方法体内部，判断point对象是否已经在已存在的簇中，遍历clusterList集合中的每一个簇cluster，获取簇cluster中的sameList属性，判断其sameList集合中是否含point，若含有则返回true。遍历结束后，返回false。
（6）在canReachPoint()方法体内部，遍历簇cluster中包含的所有点，判断除核心对象点以外的每一个点point是否是核心对象，若point也是核心对象，则其领域内所有的点是簇cluster核心点的密度可达的点，也可以合并到簇cluster中，将这些点添加到密度可达的点集合reachPointList中，当循环结束后，将集合reachPointList中所有的密度可达的点加入到簇的sameList集合中，重新实例化簇cluster，最终将cluster返回。
（7）getEpointList()方法的作用是获取一个点e领域内所有点的集合。在方法体内部，定义点集合pointList用于存放point的e领域内所有的点，遍历数据集dataList中的每一个点p，调用Point类内的静态方法calcuteMHDDistance()方法，计算点point和点p的曼哈顿距离，用变量ptoPoint来存放，如果ptoPoint小于半径e，则说明点p在点point的e领域内，则将p加入到pointList集合当中，最终返回pointList集合。

实现源码

Cluster类

package com.data.mining.entity;import lombok.Data;import java.util.ArrayList;
import java.util.List;@Data
public class Cluster {private Point corePoint;private List<Point> sameList = new ArrayList<>();public Cluster(){}public Cluster(Point cp){corePoint = cp;}
}

Point类

package com.data.mining.entity;import lombok.Data;@Data
public class Point {private double x;private double y;public Point(){}public Point(double x, double y){this.x = x;this.y = y;}public static boolean getIsSame(Point p1, Point p2){if (p1.getX() == p2.getX() && p1.getY() == p2.getY()) return true;return false;}public static double calculateDistance(Point p1, Point p2){double xDistance = p1.getX() - p2.getX();double yDistance = p1.getY() - p2.getY();double tmp = xDistance * xDistance + yDistance * yDistance;return Math.sqrt(tmp);}public static double calculateMHDDistance(Point p1, Point p2){return Math.abs(p1.getX() - p2.getX()) + Math.abs(p1.getY() - p2.getY());}}

ExcelData类：因为本实验样本集太多，于是笔者将样本集存入到了excel文件中，用EasyExcel读取excel文件。因此创建ExcelData类

package com.data.mining.entity;import lombok.Data;import java.util.ArrayList;
import java.util.List;@Data
public class Cluster {private Point corePoint;private List<Point> sameList = new ArrayList<>();public Cluster(){}public Cluster(Point cp){corePoint = cp;}
}

DBSCAN算法实现代码

package com.data.mining.main;import com.alibaba.excel.EasyExcel;
import com.data.mining.entity.Cluster;
import com.data.mining.entity.ExcelData;
import com.data.mining.entity.Point;import java.io.FileInputStream;
import java.util.ArrayList;
import java.util.List;public class DBSCAN {// 定义初始数据集public static List<Point> dataList = new ArrayList<>();// 定义半径epublic static double e = 2.0;// 定义核心对象领域内对象的最少数目public static int MinPts = 3;public static void main(String[] args) {getFileData();
//        initDataList();List<Cluster> clusterList = new ArrayList<>();for (Point point : dataList) {if (isExistCluster(point, clusterList)) continue; //已经在簇中的点不再考虑List<Point> ePointList = getEPointList(point);if (ePointList.size() >= MinPts){ //说明点point是核心对象Cluster cluster = new Cluster(point);cluster.setSameList(ePointList);Cluster newCluster = canReachPoint(cluster);clusterList.add(newCluster);}}int pointSum = 0;for (Cluster cluster : clusterList) {System.out.println(cluster);pointSum += cluster.getSameList().size();}System.out.println(pointSum);}/*** 判断point是否已经在已存在的簇中* @param point* @param clusterList* @return*/public static boolean isExistCluster(Point point, List<Cluster> clusterList){for (Cluster cluster : clusterList) {List<Point> pointList = cluster.getSameList();if (pointList.contains(point)) return true;}return false;}/*** 遍历核心对象直接密度可达的点，合并其所有密度可达的点* @param cluster* @return*/public static Cluster canReachPoint(Cluster cluster){List<Point> pointList = cluster.getSameList();List<Point> reachPointList = new ArrayList<>(); //存放核心点所有密度可达的点（暂存要新加入进来的点）for (Point point : pointList) {Point corePoint = cluster.getCorePoint();if (Point.getIsSame(corePoint, point)) continue; //这里不再遍历核心对象点List<Point> reachList = getEPointList(point); //核心对象直接密度可达的点其e领域内所有的点的集合if (reachList.size() >= MinPts){ //说明point也是核心对象，其领域内的所有点也可以合并到cluster中for (Point reachPoint : reachList) {if (pointList.contains(reachPoint)) continue; //对于pointList中已经有的点不再重复添加reachPointList.add(reachPoint); //将密度可达的点添加到密度可达的点集合中}}}pointList.addAll(reachPointList); //将密度可达的点全加入到簇中cluster.setSameList(pointList);return cluster;}/*** 获取一个点的e领域内所有的点集合* @param point* @return*/public static List<Point> getEPointList(Point point){List<Point> pointList = new ArrayList<>(); //存放point的e领域内所有的点for (Point p : dataList) {double ptoPoint = Point.calculateMHDDistance(point, p);if (ptoPoint <= e) pointList.add(p); //说明点p在point的e领域内}return pointList;}public static void getFileData(){try {FileInputStream inputStream = new FileInputStream("E:\\宋泽旭个人\\课程作业\\课程设计\\data_mining\\dbscan.xlsx");List<ExcelData> fileData = EasyExcel.read(inputStream).head(ExcelData.class).sheet().headRowNumber(1).doReadSync();for (ExcelData excelData : fileData) {Point point = new Point(excelData.getX(), excelData.getY());dataList.add(point);}}catch (Exception e){e.printStackTrace();}}/*** 使用了书本上的例子进行测试，只为测试算法实现是否正确。main方法中并没有执行initDataList方法*/public static void initDataList(){Point p1 = new Point(1, 0);Point p2 = new Point(4, 0);Point p3 = new Point(0, 1);Point p4 = new Point(1, 1);Point p5 = new Point(2, 1);Point p6 = new Point(3, 1);Point p7 = new Point(4, 1);Point p8 = new Point(5, 1);Point p9 = new Point(0, 2);Point p10 = new Point(1, 2);Point p11 = new Point(4, 2);Point p12 = new Point(1, 3);dataList.add(p1);dataList.add(p2);dataList.add(p3);dataList.add(p4);dataList.add(p5);dataList.add(p6);dataList.add(p7);dataList.add(p8);dataList.add(p9);dataList.add(p10);dataList.add(p11);dataList.add(p12);}
}

实验结果

这图片这么小，反正我是看不清，所以用表格盛一下：

五、实验总结

本实验结果笔者并不保证一定是正确的，笔者仅仅是提供一种使用Java语言实现DBSCAN算法的思路。因为实验并没有给答案，笔者已将网络上有答案的实验数据输入程序后，程序输出的结果和答案一致，所以问题应该不大。若有写的不到位的地方，还请各位多多指点！
笔者主页还有其他数据挖掘算法的总结，欢迎各位光顾！