大数据给交通行业带来的五大变革 | 交通数据的深度应用
2017年9月20日，由广东省智能交通协会和赛文交通网联合主办的第三届（2017）华南智能交通论坛在广州召开，在“2017年智慧路网技术与应用发展”分论坛上，广东利通科技投资有限公司副董事长戴连贵就交通数据深度应用探索为主题做了发言，从大数据与交通、大数据应用分析方法、高速公路大数据应用、高速公路大数据发展方向等四个方面做了分析。
以下为戴连贵演讲实录（内容有删减）。
首先和大家一起回顾一下大数据和交通的关系，接下来谈一下大数据分析的方法，这也是我的学习体会，最后分享几个大数据应用案例和应用方向探讨。
一、大数据与交通
大数据的本质就是一大堆结构化的和非结构化的数据。因为数据量太大，你没办法使用，你需要从中抓取出有价值的内容或你想要的数据，这就是大数据应用。
从技术层面说，大数据和以前的数据时代的最大差异在于： 以前是数据找应用、算法的过程，偏重于用抽样推测全局,从抽样数据中分析，没有采集到的样本所对应的相关规律。
而大数据时代的重要技术特征之一，是应用、算法去找数据的过程，因为数据规模变成了技术上最大的挑战，我们更关注每一个个体的微观表现。
大数据应用经历近十年的发展，目前的状况怎么样呢？
第一，很多国家（包括我国）已经上升到国策化，已成为国家战略。
第二，国内与国外差距已经不大。
第三，有赖于机器学习和人工智能的底层支撑，大数据和机器学习已经是一对孪生兄弟。AI为大数据应用提供高效的手段，大数据为AI提供了海量的学习素材。
第四，大数据应用的标准化问题已经迫在眉睫，专业化势在必行，工具化正在普及。
大数据究竟能做什么事呢？
你在京东买了奶瓶又搜索过奶粉，那京东的大数据就预测到你可能有小宝宝了，接下来一大堆和婴儿有关的东西都推荐给你。你可能说这就是大数据啊，也太简单了。其实如果京东仅服务你一个人，那简单，但是京东对几亿用户都能做这个推广，就不简单。
有人说，预测从古代就做了，大数据做预测的核心是全样本，多个维度的全样本，交叉确认，人会说谎，在社交场合会隐藏部分内心，但这部分内心在日积月累的互联网上总有丝竹马迹会留下来，所以，越来越多的数据模型和数据会给出无限接近感知的结果。也就是可以
大数据可以让计算机具有学习能力，机器学习就是设计一个一些让计算机可以自动学习的算法，人工智能的核心是什么？归根到底是“计算机用大数据在代替人脑来思考；计算机可能比人脑思考的更全面和迅速。”
对企业经营来讲，具体可以解决以下问题：
事实上大数据在交通中的应用已经给行业带来巨大的变革，主要体现在五个方面。
第一，为用户提供服务内容越来越精准。有赖于基于大数据的交通路网动态分析，为用户提供了出行的实时方案选择。
第二，交通通行效率越来越高。这也有赖于各种各样的互联网感知器，对复杂天气、事故、各种突发事件的实时分析，使得交通管理部门掌握了更多的交通状况，及时做出反应。
第三，现场人工执法越来越少。有赖于基于大数据的行为分析，交通执法的事情都变成一个事后的非现场的执法。
第四，交通服务自动化程度越来越高。移动支付和各种自动化设备的应用，自助服务和无感服务普遍应用。
第五，交通主管部门的决策越来越科学。政府对重大政策的制定和推出越来越依赖于对交通行为的分析，最典型的就是广州限外地牌照这件事情，专业机构通过数据分析发现广州道路拥堵的症结。
二、大数据分析方法
各行各业都讲大数据，各级政府和各个行业都推出大数据战略。那么如何开展大数据应用呢？如果我们把大数据比作含有金属的矿石。
大数据应用有两个方向：一个是如何把金矿石找到，集中，存储；另一个是如何从矿石中提取金属。
我们通常也把第二件事情叫做大数据分析（挖掘），事实上大数据分析是一个很专业的事情，他的专业性和计算机软件类似。
计算机是一个工具，计算机很重要，各个行业都用计算机，但是，不是各个行业都要自己开发计算机系统和软件。
归根到底大数据就是含有金属的矿石，矿石很重要，各行各业都有大量矿石，但是，不是各个行业都要自己造工具和设备来冶炼提取金属。我们公司有团队做大数据分析服务，所以今天在这里就大数据分析发发进行交流。
大数据分析是需要场景设定的，由要解决的问题驱动，离开用户需求和应用场景谈大数据分析，是忽悠是空谈。
大数据是因为对它的分析使用，找到其中蕴藏的金子或其他金属，才产生和体现它的价值，而不是因为其有多少多少数据和用到了NB的技术和算法才体现了它的价值。
所以大数据应用的本质就是从一大堆矿石中用各种设备和工艺，不断地去实验，找到我们没有预料到的稀有金属，也就是大数据应用的核心是大数据分析。我司是专门做大数据分析服务的，所以在这里和大家分享一下大数据分析方面的体会。
大数据分析就是一个选矿的过程，有了大数据就是有了一大堆矿石，矿石中除了含有金，还有没有银？用什么样的工具，什么样的方法，去提炼金或其他未知金属，就是一个大数据分析项目要回答的这问题。
所以大数据分析项目具有探索性，并不是每一个项目都是成功的，也并不是每一个项目都能找到新的稀有金属，一个成功的大数据项目需要多个角色参与：
业务用户：该角色对业务领域非常了解，是分析结果的受益人。
项目发起人：负责项目的发起工作，通常我们称的业主的角色，提供项目资金。
项目经理：负责项目进度质量，确保项目达到预期目标。
商业智能分析师：提供业务领域的专业知识和技能。
数据库管理员（DBA)：负责提供和配置数据库环境，支持团队的分析需求。
数据工程师：负责执行具体的数据提取工作和数据操作。确保以正确的方式生成用作分析的数据。
数据科学家：负责数据建模，选择有效的分析工具，设计和执行分析方案。确保整体分析目标实现。
从方法论角度，一个大数据分析项目是可以遵循一些已有的模型的，这些模型在过去统计分析时代就已经诞生了。下面我们以EMC公司的大数据分析模型来了解一下大数据分析项目的六个阶段：
EMC模型有以下六个阶段：
发现(目标定义）：把业务问题转化为分析目标，制定初始假设。
数据准备：准备好分析沙盘，对分析沙盘中的数据执行ETL或ELT，转化成使用和分析的格式，逐步治理数据
规划模型：了解数据之间的关系，确定模型的关键变量，和合适的分析模型
模型建立：创建测试数据集，学习数据集，和生产数据集。运行模型，修正参数，测试模型的可用性，和对运行环境的要求
沟通结果：评判是否达到第一阶段的目标，是否满足业主的要求，是否可以上线运行。
实施：在生产环境部署和实施一个试点项目，应用项目模型。
三、高速公路大数据应用案例
第一个案例：广东省高速公路省监控大数据综合分析展示。项目目标是对政府和营运管理单位关心的主要指标数据进行分析展示，让管理者及时、直观地了解高速公路的运营管理情况。
这个项目利用了省级联网收费运营管理平台和省级监控平台上的全省的高速公路收费数据和监控数据。
这是我们的部分分析成果：全省交通事件、交通事故的数据展示，包括最近30天交通事件类型组成、最近30天交通事件/交通事故情况、环比、最近90天发生交通事故的前十区间。
第二个案例：深汕西保畅通高峰车流预警预测系统。
广东省深汕西高速公路做的大数据分析项目，目标是：预测路上的关键断面预测30分钟后的车流量。
利用的数据：实时采集路面上和服务区进出口的高清卡口截面车流量采用的模型是时间序列ARIMA 模型，车流量超过设定阀值的，进行预警。
通过这个预测，可以让运营单位提前做好高峰车流的保畅通措施，提升交通服务质量。
第三个案例： 广东省高速公路货运情况的大数据分析项目。
业主是：广东省大数据局；
目标是：预测广东省经济景气情况；
利用的数据是：广东高速公路实现了全计重收费和全国ETC联网，在高速公路出口可以较为准确采集到货车载重量数据。
模型是：构建了高速公路运输景气指数（ETBI）。
四、高速公路大数据应用展望
收费业务数据有DB44为标准，但是监控、路政、养护数据是没有行业标准或地方标准的，收费、监控、路政、养护等各个不同业务域的数据和数据之间要想对话，那必须有一个标准，遵循了这个标准，不同主体共享出来的数据才可以进行融合。
大数据给交通行业带来的五大变革 | 交通数据的深度应用相关推荐
- 大数据给教育行业带来的影响，主要体现在哪几方面？
大数据给教育行业带来了重大影响.基于大数据的精确学情诊断.个性化学习分析和智能决策支持,大大提升了教育品质,对促进教育公平.提高教育质量.优化教育治理都具有重要作用,已成为实现教育现代化必不可少的重要 ...
- PLAY TO EARN时代终结后 区块链游戏将为游戏行业带来真正的变革
研究概要 随着大批的风险资本涌入区块链游戏赛道及大量的创业者投身于创造区块链游戏,我们在庆幸行业受到广泛关注的同时也看到越来越多的乱象.但每一次行业变革的前期一定伴随着大量的泡沫,而在这泡沫中能够真正 ...
- 【交通行业数据治理会议推荐】大湾区交通行业数据要素增值研讨会
数字化转型已经是各行各业不可阻挡的战略发展方向,中国交通行业在迎来从本地政策支持.开放的市场.到数字化转型等所带来的黄金时代及红利,使其在大数据技术的引入,依托大数据技术的业务及制度创新等促使行业大数 ...
- 交通行业提升数据利用效率的核心是做好数据交换与共享
近年来,政策环境的持续优化让数据红利在交通行业加速释放,比如:2016年,交通运输部部署了综合交通运输大数据应用中心建设工作,同时也委托交通运输部交科院开展综合交通运输大数据政策标准研究等任务: 20 ...
- 数据备份保护行业“南北战争”已打响，2024年见分晓
阅读要点:传统备份三十年未变,恢复备份集的RTO不可预期性是备份技术的"癌症",原格式副本CDM方式的RTO趋向0,革命性的改变备份技术体系,这是终极发展方向.目前备份技术正处于激 ...
- 理解交通行业规律 用持续做“重”来重新定义共享出行
文|螳螂财经 作者|sky 持续做"重".走向下沉市场,正在让共享电单车行业摆脱"共享出行"的固有偏见. 作为下沉市场的首批"玩家",松果出 ...
- Magic Data入选艾瑞《中国面向人工智能的数据治理》行业研究报告
数据治理丨研究报告丨核心摘要: 治理需求热潮:企业在数字化转型过程中先建设后治理的常态,使得数据治理愈发受到企业重视,另一方面,新兴技术与应用场景的快速落地,也带领数据治理需求在加速攀升.未来,随着非 ...
- 中国内部数据集成软件行业市场供需与战略研究报告
内部数据集成软件市场的企业竞争态势 该报告涉及的主要国际市场参与者有Microsoft SQL.webMethods.Informatica PowerCenter.Cleo.Riva.Quest.S ...
- 数据中心生成器行业调研报告 - 市场现状分析与发展前景预测
数据中心生成器市场的企业竞争态势 该报告涉及的主要国际市场参与者有Caterpillar.Cummins.Euro-Diesel.Generac Power System.Hitec Power Pr ...
- 以数据为中心的路由协议_NDN赋能IPFS构建数据为中心的网络架构和应用服务，真能颠覆现有网络体系吗？...
Web 3.0时代激发数据价值的交换 Web 1.0时代我们建立了互联网数据档案.在20世纪70年代初至80年代末,发明家和开发者建立了我们现在所知道的互联网的大部分基本功能和基础设施--即硬件.软件 ...
最新文章
- awk 脚本中使用正则表达式
- 关于英伟达数字人文章的致歉和说明
- [转]JS调用Android里面的方法，Android调用JS里面的方法
- DOM 事件深入浅出（二）
- Wamp修改httpd.conf中的DocumentRoot不生效解决办法
- python开发聊天机器人_Python实现机器人聊天
- latex acm-sigconf使用总结
- 由浅入深聊聊Golang的map
- Java 并发编程(一)：简介
- 中国IT风险投资机构
- Spark核心编程系列(一)——RDD详解
- 警惕！黑客通过iPhone充电线劫持您的计算机
- 使用js关闭浏览器的方法
- 项目经理(Project Manager)和产品经理(Product Manager)，简称PM。
- 海思Hi3518EV200+4G+RS232视频监控摄像开发板防雷防静电推荐图
- 解决——》Handler dispatch failed； nested exception is java.lang.NoSuchMethodError
- 基于 LwIP 协议栈实现 tun2sys-socket，网络游戏加速器（一类）
- Rust actix_web框架简单示例
- 茶叶软文新闻推广，给茶企带来营销新思路
- 报考中级会计职称必须取得初级职称吗,中级会计难考吗?