2、Kmeans算法处理出租车数据

1、使用textFile函数读取csv文件创建taxi_data，然后使用map算子操作将按照逗号隔开的文本创建RDDfrom pyspark.sql import Row
taxi_data = sc.textFile("/home/test/taxi.csv")
taxi_rdd = distFile.map(lambda line:line.split(','))2、创建矢量RDD，矢量两个参数分别为纬度和经度，在聚类函数中需要该格式RDD进行聚类from pyspark.ml.linalg import Vectors
taxi_row=taxi_rdd.map(lambda x: (Vectors.dense (x[1],x[2]), ))3、创建DataFrametaxi_df = spark.createDataFrame(taxi_row,["features"])4、利用Kmeans算法对出租车数据进行分类from pyspark.ml.clustering import KMeans
kmeans=KMeans(k=3, seed=1)  #创建kmeans实例，k为分簇个数，seed为种子点。
model=kmeans.fit(taxi_df)    #调用kmeans.fit方法训练形成模型
centers=model.clusterCenters()  #产生聚类中心
print(centers)
#输出的结果：[array([ 30.64615364, 104.08805459]), array([ 30.89418873, 103.6522621 ]), array([ 30.65644306, 104.01765788])]5、调用百度API进行数据可视化使用百度地图接口需要百度的一个认证，也就是需要在登录百度地图开发平台申请key，申请key地址：http://lbsyun.baidu.com/apiconsole/key，申请界面如图所示：申请过程：点击开放平台地址：http://lbsyun.baidu.com/创建完成后复制你的ak即可，接着在Pycharm中创建html文件，写入一下代码：<!DOCTYPE html>
<html>
<head><meta http-equiv="Content-Type" content="text/html; charset=utf-8" /><meta name="viewport" content="initial-scale=1.0, user-scalable=no" /><style type="text/css">body, html {width: 100%;height: 100%;margin:0;font-family:"微软雅黑";}#allmap{width:100%;height:1000px;}/*p{margin-left:5px; font-size:14px;}*/</style><script type="text/javascript" src="//api.map.baidu.com/api?v=2.0&ak=写入你复制的AK"></script><script src="//libs.baidu.com/jquery/1.9.0/jquery.js"></script><title>给多个点添加信息窗口</title>
</head>
<body><div id="allmap"></div></body>
</html>
<script type="text/javascript">// 百度地图API功能map = new BMap.Map("allmap");map.enableScrollWheelZoom();   //启用滚轮放大缩小，默认禁用map.enableContinuousZoom();map.centerAndZoom(new BMap.Point(103.65226210,30.89418873), 15);var data_info = [[104.08805459,30.64615364,"经纬度：104.08805459,30.64615364"],[103.65226210,30.89418873,"经纬度：103.6522621,30.89418873"],[104.01765788,30.65644306,"经纬度：104.01765788,30.65644306"    ]];//写入运行出的经纬度结果var opts = {width : 250,     // 信息窗口宽度height: 80,     // 信息窗口高度title : "信息窗口" , // 信息窗口标题enableMessage:true//设置允许信息窗发送短息};for(var i=0;i<data_info.length;i++){var marker = new BMap.Marker(new BMap.Point(data_info[i][0],data_info[i][1]));  // 创建标注var content = data_info[i][2];map.addOverlay(marker);               // 将标注添加到地图中addClickHandler(content,marker);}function addClickHandler(content,marker){marker.addEventListener("click",function(e){openInfo(content,e)});}function openInfo(content,e){var p = e.target;var point = new BMap.Point(p.getPosition().lng, p.getPosition().lat);var infoWindow = new BMap.InfoWindow(content,opts);  // 创建信息窗口对象map.openInfoWindow(infoWindow,point); //开启信息窗口}
</script>

实验资源

taxi.csv

实验环境

VMware Workstation
Ubuntu 16.04
Jupyter Notebook
Pyspark
Pycharm

实验内容

现有某地区出租车 GPS 定位数据 taxi.csv，部分数据见下图：

1	30.624806	104.136604	211846
1	30.624809	104.136612	211815
1	30.624811	104.136587	212017
1	30.624811	104.136596	211916
1	30.624811	104.136619	211744

数据一共分为 4 列，每一列含义如下表所示：

编号（id）	纬度（lat）	经度（lon）	时间戳（time）

利用Spark机器学习库中Kmeans算法根据出租车的经纬度数据进行分类，并调用百度API进行数据可视化

实验步骤

1、使用textFile函数读取csv文件创建taxi_data，然后使用map算子操作将按照逗号隔开的文本创建RDD

from pyspark.sql import Row
taxi_data = sc.textFile("/home/test/taxi.csv")
taxi_rdd = distFile.map(lambda line:line.split(','))

2、创建矢量RDD，矢量两个参数分别为纬度和经度，在聚类函数中需要该格式RDD进行聚类

from pyspark.ml.linalg import Vectors
taxi_row=taxi_rdd.map(lambda x: (Vectors.dense (x[1],x[2]), ))

3、创建DataFrame

taxi_df = spark.createDataFrame(taxi_row,["features"])

4、利用Kmeans算法对出租车数据进行分类

from pyspark.ml.clustering import KMeans
kmeans=KMeans(k=3, seed=1)  #创建kmeans实例，k为分簇个数，seed为种子点。
model=kmeans.fit(taxi_df)    #调用kmeans.fit方法训练形成模型
centers=model.clusterCenters()  #产生聚类中心
print(centers)
#输出的结果：[array([ 30.64615364, 104.08805459]), array([ 30.89418873, 103.6522621 ]), array([ 30.65644306, 104.01765788])]

5、调用百度API进行数据可视化

使用百度地图接口需要百度的一个认证，也就是需要在登录百度地图开发平台申请key，申请key地址：http://lbsyun.baidu.com/apiconsole/key，申请界面如图所示：

申请过程：点击开放平台地址：http://lbsyun.baidu.com/

创建完成后复制你的ak即可，接着在Pycharm中创建html文件，写入一下代码：

<!DOCTYPE html>
<html>
<head><meta http-equiv="Content-Type" content="text/html; charset=utf-8" /><meta name="viewport" content="initial-scale=1.0, user-scalable=no" /><style type="text/css">body, html {width: 100%;height: 100%;margin:0;font-family:"微软雅黑";}#allmap{width:100%;height:1000px;}/*p{margin-left:5px; font-size:14px;}*/</style><script type="text/javascript" src="//api.map.baidu.com/api?v=2.0&ak=写入你复制的AK"></script><script src="//libs.baidu.com/jquery/1.9.0/jquery.js"></script><title>给多个点添加信息窗口</title>
</head>
<body><div id="allmap"></div></body>
</html>
<script type="text/javascript">// 百度地图API功能map = new BMap.Map("allmap");map.enableScrollWheelZoom();   //启用滚轮放大缩小，默认禁用map.enableContinuousZoom();map.centerAndZoom(new BMap.Point(103.65226210,30.89418873), 15);var data_info = [[104.08805459,30.64615364,"经纬度：104.08805459,30.64615364"],[103.65226210,30.89418873,"经纬度：103.6522621,30.89418873"],[104.01765788,30.65644306,"经纬度：104.01765788,30.65644306"    ]];//写入运行出的经纬度结果var opts = {width : 250,     // 信息窗口宽度height: 80,     // 信息窗口高度title : "信息窗口" , // 信息窗口标题enableMessage:true//设置允许信息窗发送短息};for(var i=0;i<data_info.length;i++){var marker = new BMap.Marker(new BMap.Point(data_info[i][0],data_info[i][1]));  // 创建标注var content = data_info[i][2];map.addOverlay(marker);               // 将标注添加到地图中addClickHandler(content,marker);}function addClickHandler(content,marker){marker.addEventListener("click",function(e){openInfo(content,e)});}function openInfo(content,e){var p = e.target;var point = new BMap.Point(p.getPosition().lng, p.getPosition().lat);var infoWindow = new BMap.InfoWindow(content,opts);  // 创建信息窗口对象map.openInfoWindow(infoWindow,point); //开启信息窗口}
</script>

查看最终结果：