python交通调查数据处理_基于Python的交通流数据清洗
龙源期刊网
http://www.qikan.com.cn
基于
Python
的交通流数据清洗
作者：李红梅
唐岚
来源：《电子技术与软件工程》
2016
年第
09
期
【关键词】交通流
Python
数据清洗
1
引言
随着交通检测技术和智能交通系统的发展，交通管理者能够获得海量的交通数据。但是现
实中，往往由于各种因素如环境、道路突发事件、采集设备故障等导致采集的数据存在缺失、
异常、冗余等现象，这会降低智能交通系统分析和诱导能力。因此，如何将获取
“
脏数据
”
进行
科学合理的清洗是各国学者亟待解决的问题。
2
交通原始数据的选取
本文中使用的数据为四川省某市
2014
年
8
月
6
日的交通流数据，这个数据中有很多路段
信息，并且数据采集设备的采集数据周期为
5min
，相应的信息可以从图
1
中看出。
每条交通数据都有唯一的
VID_LANE_ID
号与之对应。而
VID_LANE_ID
前四位指代某路
段的某一具体设备。
TRAFFICDATA
代表采集数据的时间。
DIRECTION
为方向编码，代表车
辆行驶的方向，
TRAFFICDATA_ID
记录时间间隔为
5
分钟，这个时间段非常适合数据分析与
预测建模。对于
VOL
为该路段在
5
分钟内所经过的车辆总数；
SPEED
为在观测时间内所有车
辆的速度平均值；
OCC
为占有率，指检测时间周期内有车辆经过的时间总和与检测总时间的
之比（本文采集数据
OCC
省略了百分数）。
3
交通流数据清洗
采集到的真实的交通流数据往往会由于诸如信息传输、设备自身故障、突发交通事故等因
素影响会导致其包含有真实数据和不真实的数据。为了使数据分析或者数据预测工作具有科学
性和可靠性，往往不能直接使用这些
“
脏数据
”
，在这之前需要对这些采集到的原始的交通流数
据进行降低甚至消除噪声、简约冗余数据、对异常错误数据进行修正、对缺失数据进行填补等
工作，用以提高数据质量，通常称这一过程为数据清洗。
一般说来，脏数据主要存在异常、缺失和冗余这三类。
3.1
异常数据的判断与处理
本文异常数据的剔除算法分为两个步骤，第一步是采用阈值法去掉比较明显的错误数据；
第二步是采用交通机理法去掉在数据中隐藏的错误数据。阈值法要求数据取值在一定的区域范
围之内，如果相应的区间内数据超出了这个区域，那么就表示相应的数据为错误数据，需要对
python交通调查数据处理_基于Python的交通流数据清洗相关推荐
- 基于python的语料库数据处理_基于Python的语料库数据处理（三）
原标题:基于Python的语料库数据处理(三) <Python玩转语料库数据>专栏· 第3篇 1393 字 | 5 分钟阅读 一起来学习用Python进行语料库数据处理吧! 一.条件判断 ...
- python空间数据处理_基于Python语言的空间数据处理
龙源期刊网 http://www.doczj.com/doc/7b0e0476172ded630a1cb662.html 基于Python语言的空间数据处理 作者:何丽娴甘淑陈应跃 来源:<价值 ...
- python空间数据处理_基于Python的空间数据批量处理方法
第 34 卷 第 4 期 2011 年 8 月 测绘与空间地理信息 GEOMATICS & SPATIAL INFORMATION TECHNOLOGY Vol． 34,No． 4 Aug． ...
- python气象绘图速成_基于Python气象数据处理与可视化分析
基于 Python 气象数据处理与可视化分析 张鑫 ; 曹蕾 ; 韩基良 [期刊名称] <气象灾害防御> [年 ( 卷 ), 期] 2020(027)001 [摘要] 全国综合气象信息共享 ...
- 基于python爬虫数据处理_基于Python爬虫的校园数据获取
苏艺航 徐海蛟 何佳蕾 杨振宇 王佳鹏 摘要:随着移动时代的到来,只适配了电脑网页.性能羸弱的校园教务系统,已经不能满足学生们的移动查询需求.为此,设计了一种基于网络爬虫的高实用性查询系統.它首先通过 ...
- 用python做炒股软件-python程序源码_基于python的炒股软件
股票模拟交易系统设计与实现 不但能够进行界面的设计,还可以实现各个窗口的关联,通过WPF实现和其余窗口的关联,而且WPF中的类不但能够和其中一个窗口进行关联,还可以跟许多功能操作接口,WPF在对窗口对 ...
- python兼职平台信号处理_基于Python的数字信号处理初步
作者:许欢 来源:EETOP 行者无疆(论坛usrname:ICNO.1) 的博客 Python 是目前的热门语言,一直觉得掌握一门编程语言对作为搞技术的来说还是很有必要的,结合工作中能用到的一些数据 ...
- 基于python的分布式扫描器_基于python的服务器监测系统的设计
基于 python 的服务器监测系统的设计 高正 ; 徐浩 ; 余曼 [期刊名称] <电脑知识与技术> [年 ( 卷 ), 期] 2017(013)002 [摘要] 本文介绍了一种基于 P ...
- autocad python二次开发_基于Python AutoCAD ActiveX 二次开发，pyautocad应用技术
AutoCAD应用程序开发系列 基于Python AutoCAD ActiveX 二次开发技术 主要库:pyautocad==0.2.0 内容#:基于Python AutoCAD ActiveX 二次 ...
最新文章
- python 整数逆位运算_python训练营：注释、运算符、数据类型与位运算
- Java：字符串类String的功能介绍
- 51nod 1287: 加农炮 好题啊好题
- ArcGIS网络分析之构建网络分析数据集(一)
- QML编程之旅 -- 事件处理
- 技术实践 | 网易云信视频转码提速之分片转码
- oracle12c视图刷新,12c 物化视图 - 对快速刷新的理解
- 08 | 替换策略： 缓存满了怎么办？
- html5手机端设置date,H5 input[type='date'] 优化 pc端和移动端的使用
- 2017年什么命_所谓“佛系”，真的不是什么都不做！
- 语音识别的最终目标是真正实现人机交互
- 详解机器学习之感知机理论与实践
- sqlserver 'sa'密码忘记，windows集成身份验证都登录不了解决办法
- Matlab关于转置与共轭转置
- 虚拟机VMware16安装教程
- 数字化商业模式三结构：价值创造、价值交付、价值捕获
- php代码写一串新年祝福,临时保存新年祝福的php+dede
- 2020年个人计划总结和2021年个人计划
- 土地利用数据分类过程教学/土地利用分类/遥感解译/土地利用获取来源介绍/地理数据获取
- 狂拽炫酷校园拽少与阳光善良少女的校园事