一、数据介绍

1.数据链接

https://download.csdn.net/download/skyman30/87432266?spm=1001.2014.3001.5503https://download.csdn.net/download/skyman30/87432266?spm=1001.2014.3001.5503

2.数据内容

此数据集包含北京市出租车从2008年2月2日到2008年2月8日的GPS轨迹数据，其中共包含10357辆出租车的数据，其中每个文件由出租车ID，时间、经度、纬度构成。该数据集中的轨迹点总数约为1500 万条，轨迹的总距离达到900万公里。其中连续两个轨迹坐标点的平均采样间隔约为 177秒，距离约为623米。这个数据集的每个文件，由出租车ID命名，包含一个出租车的轨迹。以下是一个文件的样例：

id time longitude latitude

1,2008-02-02 15:36:08,116.51172,39.92123

1,2008-02-02 15:46:08,116.51135,39.93883

1,2008-02-02 15:56:08,116.51627,39.91034

二、数据预处理

1.合并文件

首先将所有的轨迹数据合并到一个文件中方便处理

import ospath = '数据所在文件夹路径'
files = [f for f in os.listdir(path) if f.endswith('.txt')]#保存到merged_file.txt文件中
with open('merged_file.txt', 'w') as outfile:for file in files:with open(os.path.join(path, file)) as infile:outfile.write(infile.read() + '\n')

2.读取文件

利用pandas读取合并后的文件

import pandas as pd
gps_data = pd.read_csv('合并文件路径',names=['id','time','longitude','latitude'])

读取结果

3.排序

按照id号和时间进行排序

gps_data=gps_data.sort_values(by=['id','time']).reset_index(drop=True)

排序后的结果

4.统计原始数据量

一共有17662984条gps数据

raw_length = len(gps_data) #值为17662984

5.加入时间戳

6.计算采样点之间的时间差

7.计算采样点之间的经纬度距离（Haversine距离计算）

8.计算采样点之间的速度

9.按照日期划分数据集

三、数据清洗

1.清除重复数据

2.清除超出地理坐标范围的轨迹

3.删除微小轨迹

【后面内容待更改】

5. 数据去重

由于数据中重复的数据是无效数据，因此需要去除

gps_data_drop_dup = gps_data.drop_duplicates().reset_index(drop=True)

去重之后的结果

6.统计去重后的数据量

去重之后共有16325487条数据，去除了1337497条数据（7.5%的数据）

7.经纬度坐标分布

查看数据中最大与最小的经纬度

max_latitude = max(gps_data_1.latitude)
max_longitude =max(gps_data_1.longitude)
min_latitude =min(gps_data_1.latitude)
min_longitude =min(gps_data_1.longitude)#运行结果
#(96.06767, 0.0, 255.3, 0.0)

可以由此推断出经纬度坐标数据中存在异常，因此进一步查看情况

查看经纬度的数据分布

#查看经度数据分布
gps_data_1.longitude.describe()

#查看纬度分布
gps_data_1.latitude.describe()

由此推断部分坐标点超出北京坐标范围，因此需要将这部分数据进行删除，为了方便后续研究，这里的范围采取北京是五环的坐标范围。

8.去除超出范围的数据

#如果坐标范围限定在北京市五环内那么范围是116.17 - 116.62，39.83 - 40.05,对gps数据进行筛选
gps_data_2 = gps_data_1[(gps_data_1['latitude']>39.83)&(gps_data_1['latitude']<40.05)&(gps_data_1['longitude']>116.17)&(gps_data_1['longitude']<116.62)]
gps_data_2 = gps_data_2.reset_index(drop=True)

对坐标异常值清洗后的数据

其中共清除4629807条数据（占26%）

9.保存数据

#保存数据清理之后的gps数据
gps_data_2.to_csv('文件路径',index=False)

【由于以上处理方式会误删很多点，因此没有往后继续做】

二、数据预处理【第二版】

三、地图匹配

1.获取路网数据

路网数据从openstreatmap获取，利用osmnx包下载，获取之后保存为shapefile文件以便地图匹配时需要

import osmnx as ox#获取路网数据
beijing_road=ox.graph_from_bbox(40.05,39.83,116.62,116.17,network_type='drive')
#保存为shapefile文件
ox.save_graph_shapefile(beijing_road,'文件路径')

2.可视化路网

#可视化路网
ox.plot_graph(beijing_road,figsize=(15,15),show=False,close=False,node_size=4)

3.将gps数据投影到路网上

先投影一部分数据看看

import matplotlib.pyplot as plt
#1.先将gps点的经纬度提取出来
latitude = gps_data_2.latitude.to_list()
longitude = gps_data_2.longitude.to_list()#投影
fig,ax = ox.plot_graph(beijing_road,figsize=(15,15),show=False,close=False,node_size=4)
ax.scatter(longitude[:100000],latitude[:100000],s=0.5,alpha=1,c='red')#投影10万个坐标点
plt.show()

投影全部坐标点

很明显，坐标点大部分都偏离了路网，由第一个图看出，路网坐标系和gps轨迹点的坐标系应该是一致的，不然会发生大的偏移，因次这里只需要进行地图匹配即可

【地图匹配（ST-matching）】GPS 轨迹数据预处理——T-Driver数据集【持续更新中】相关推荐

使用二代数据进行基因survey-01cleandata（持续更新中）
使用二代数据进行基因survey(持续更新中) 这是本人自己测序的二代数据,公司提供的是rawdata.文库350bp.测序类型PE150.二代数据特点就是:短读长,低质量.因此第一步就是过滤数据,得 ...
第四期：有关大数据相关问答汇总，持续更新中~
NO.1 大数据为什么这么"火"?为什么那么多人转型学大数据? 回答一:身为数据极客,在2017年应该能感觉很幸福. 去年,我们曾经问过大家"大数据还是个值得关注的大事吗 ...
大数据Notebook调研信息汇总(持续更新中)
大数据组件支持Spark 支持Flink 支持最新版大数据组件备注 Zeppelin ✓ ✓ X 大概消耗1.3G内存 Jupyter ✓ 必须导入alink才支持 ✓ Databricks ...
第三期：有关大数据相关问答汇总，持续更新中~
NO.1 sql server.my sql.oracle与hadoop,哪个才是未来趋势?到底有什么区别? 回答:SQL server,Mysql,Oracle都可以说是老牌数据库产品了,就产品本身 ...
数据取证技术面试题（持续更新中）
最近在自学数据取证下面是我整理的问题和答案,仅供参考如果发现错误可以联系QQ:1024275440 数据取证技术面试题 1.什么是数据取证电子取证是指从计算机设备中获取信息,供案.事件调查使用. 2 ...
Java、大数据开发学习要点（持续更新中...）
Java.大数据开发学习要点这里有作者本人学习Java.大数据开发时的详细知识记录,随时根据学习状态更新. 以下是关于
道路匹配MapMatching：GPS轨迹点常用聚类算法介绍（K-Means聚类、蚁群算法等）
道路匹配MapMatching:GPS轨迹点常用聚类算法介绍(K-Means聚类.蚁群算法等) 前言一.聚类算法是什么? 二.道路匹配中常见聚类算法介绍 1.K-Means算法 2.基于时间和距离的 ...
出租车GPS轨迹数据和手机数据的研究价值
出租车GPS轨迹数据和手机数据的研究价值原文:http://www.zdor.cn/news/html/zx/234027.html 作者:@高松-GISer (加州大学圣塔芭芭拉分校地理系.美国国 ...
python编写同步欧氏距离轨迹压缩_基于相对同步欧氏距离筛选的在线GPS轨迹数据压缩算法.PDF...
基于相对同步欧氏距离筛选的在线GPS轨迹数据压缩算法第35卷第3期计算机应用与软件 Vol35No．3 2018年3月 ComputerApplicationsandSoftware Mar．2 ...

【地图匹配（ST-matching）】GPS 轨迹数据预处理——T-Driver数据集【持续更新中】