好久没有跟大家聊TSDB的应用场景了，Jesse也在国庆期间进行了补课，今天就跟大家聊聊TSDB在高速公路大数据平台的应用。本文借鉴了郝建明、袁逸涛发表在《上海船舶运输科学研究生学报》的《基于时序数据库的高速公路数据集成平台》一文，感谢二位对行业的贡献。

本文仅代表个人观点，如有偏颇之处，还请海涵～

世界上第一条高速公路投入使用是在1932年的德国，其连接了德国的工业重镇科隆以及彼时的政治中心波恩。中国的高速公路还要追溯到1988年，短短20公里的沪嘉高速一期正式通车，其中真正达到高速公路标准的仅有16公里。时过境迁，如今的中国高速已经发生了翻天覆地的变化，其公路里程已经超过美国，也让中国成为世界高速公路里程数量最大的国家。

伴随着物联网技术的发展和车流量的增长，带来了来自摄像头、传感器、门架系统等多方所产生的数据呈指数级增长，特别是交通运输部近年来主导实施了如“取消高速公路省界收费站”和“高速公路视频云联网”等重大项目，极大地提升了高速公路上ETC门架、智能摄像机等感知设备的建设规模。而这些传感器设备所产生的海量数据都带有时序特征，利用好这些数据可以为智慧高速运营管理提供更可靠的数据分析服务。

传统DBMS面临挑战

根据行业调研我们发现，仅以高速公路的ETC门架来说，其单日单一设备的时序数据采集量峰值可以达到上万条；与此同时，从高速公路整体的数据容量而言，单个省份每年高速公路的时序数据存储容量需求会达到PB级别。在这种数据规模下，以MySQL和Oracle为代表的传统关系型数据库由于受到存储结构限制，在数据库设计层面无法完成对海量时序数据的快速连续存储。此外，传统关系型数据库的B - Tree结构在处理时序数据的检索查询问题时，速度较慢，致使数据的实时分析和展示效果都很差。而这正是TSDB的擅长之处，其基于时序数据的结构特点，在数据写入性能、数据查询性能和数据存储压缩率等方面做了针对性优化，相比关系型数据库在性能上有了极大的提升。

高速公路产生的时序数据

高速公路上装有的大量物联网感知设备，是新基建的重要组成部分。这些设备采集的数据大部分带有时序特征，怎样对这些时序数据存储、治理、分析、展示和挖掘，已成为高速公路大数据平台需解决的核心问题。具体而言，高速公路所产生的时序数据如表1所示。

表1：高速公路产生时序数据情况

高速公路的时序数据需求

通过研究，我们发现对高速公路时序数据的应用需求主要有：

（1）数据高并发写入：高速公路IoT设备采集的时序数据每日入库数据量超亿级。

（2）数据的高效分析：运营公司对高速公路路况进行实时监测。因此，数据分析的实时性要求高（秒级），公司需要根据采集到的时序数据快速、可靠地分析出路网的运行态势。并且，目前数据的复杂性和分析频次都还在呈指数级增长。

（3）数据的安全性：高速公路的部分数据，比如，车辆精细化收费金额等，属于较为敏感性的数据。

高速公路大数据平台设计

高速公路大数据平台整合高速公路运营体系内的数据，对高速公路数据进行采集、加工、存储、治理、分析和共享，从而实现高速公路数据的应用和分析，其可以分为五层架构，如下图1所示。

图1：高速公路大数据平台架构

首先，最底层是数据采集层，其主要汇集了来自外场设备的数据 — 时序数据的主要来源，以及第三方系统的业务数据。聚焦我们关注的时序数据，外场设备会通过各种协议再经数据传输接入平台中，这些协议比如有MQ、MQTT、HTTP、TCP等。其次来到硬件层，其通过物理服务器集群搭建私有云平台，建立虚拟资源池，实现对服务器资源的统一规划调度。基础环境下的私有云平台又可以划分为计算资源池、存储资源池和网络资源池。网络环境下的5G物联网也可以分为传统的收费专网、监控专网和互联网。第三层来到数据层，在数据层传统关系型数据库和时序数据库依据各自优势，协同发挥作用。所有数据经过Kafka消息队列处理之后进入Redis缓存池，最终存储到数据库中。所有设备产生的时序数据都由Kafka消息对接进行消费，随后进行噪点清洗，将有用的数据及时更新到关系型数据库和时序数据库中。第三方系统数据主要通过中间库的库表交换方式与HTTP接口交互。第四层是应用支撑层。基础支撑平台是支撑平台应用的引擎底座，通过对存储的数据进行分析处理，为上层应用提供支撑，主要包括数据接口认证、BI分析工具、GIS地图、Zookeeper监测工具、智慧高速算法引擎和视频智能分析算法等基础支撑服务。最上层就是应用层。在对数据进行处理分析之后，为平台用户提供实时路况分析、拥堵治理、交通流量监测和匝道智能控流等多个应用场景。

通过时序数据库构建的高速公路大数据平台，为路网运行提供了态势感知、路网流量分析监测、路网流量预测研判和高速公路出入口智能管控等多种服务。也解决了传统关系型数据库无法满足高速公路信息化领域的海量时序数据存储和高效查询需求的难题。

站在更高的视角维度来看，当前正是我国信息化发展的关键时期，大量企业仍在用传统关系型数据库来存储时序数据，我们相信随着数据量的爆发，从关系型数据库切换到时序数据库的比例将越来越多。今天就到这里，各位小伙伴，我们下期再见。

CnosDB简介

CnosDB是一款高性能、高易用性的开源分布式时序数据库，现已正式发布及全部开源。

欢迎关注我们的代码仓库，一键三连：https://github.com/cnosdb/cnosdb

TSDB在高速公路大数据平台的应用相关推荐

广东智慧高速大数据平台揭秘，值得学习！
来源:中国交通报近日印发的<数字交通"十四五"发展规划>,提出了"交通设施数字感知.信息网络广泛覆盖.运输服务便捷智能.行业治理在线协同.技术应用创新活跃. ...
七牛大数据平台的演进与大数据分析实践--转
原文地址:http://www.infoq.com/cn/articles/qiniu-big-data-platform-evolution-and-analysis?utm_source=info ...
influxdb数据过期_为什么腾讯QQ的大数据平台选择了InfluxDB数据库？
导读:本文带你了解一个开源的.高性能的时序型数据库--InfluxDB. 作者:韩健来源:华章科技 00 为什么QQ要选择InfluxDB? 从2016年起,笔者在腾讯公司负责QQ后台的海量服务分布 ...
大数据数据库评测_为什么腾讯QQ的大数据平台选择了这款数据库？
导读:本文带你了解一个开源的.高性能的时序型数据库--InfluxDB. 作者:韩健来源:大数据DT(ID:hzdashuju) 00 为什么QQ要选择InfluxDB?从2016年起,笔者在腾讯公司 ...
七牛云大数据平台建设实践
2017 年 1 月 14.15日,为期 2 天的 ECUG Con 十周年大会在深圳圆满结束,会上七牛云 CEO 许式伟做了题为<七牛大数据平台建设实践>的演讲,首次披露七牛云在大数据方 ...
干货 | 网易大数据平台运维实战
本文整理自SACC2021中国系统架构师大会,是网易金川老师视频直播的文字版本,他分享的主题是"网易大数据平台运维实战" 各位SACC观众,大家好,感谢各位参加本次智能运维实践会场 ...
酷狗音乐的大数据平台重构
眨眼就是新的一年了,时间过的真快,趁这段时间一直在写总结的机会,也总结下上一年的工作经验,避免重复踩坑.酷狗音乐大数据平台重构整整经历了一年时间,大头的行为流水数据迁移到新平台稳定运行,在这过程中填过 ...
V2X车路协同云控数据平台业务整理
V2X车路协同云控数据平台业务整理 V2X车路协同云控数据平台业务整理 v2x车路协同云控平台的WWH问题 1.关于v2x的简单理解&思考 2.关于车路协同理解&思考 3.关于云控理解 ...
GitHub开源比Hadoop快至少10倍的物联网大数据平台
TDengine是一个开源的专为物联网.车联网.工业互联网.IT运维等设计和优化的大数据平台.除核心的快10倍以上的时序数据库功能外,还提供缓存.数据订阅.流式计算等功能,最大程度减少研发和运维的工作 ...
大众点评数据平台架构变迁
2019独角兽企业重金招聘Python工程师标准>>> 最近和其他公司的同学对数据平台的发展题做了一些沟通,发现各自遇到的问题都类似,架构的变迁也有一定的相似性. 以下从数据& ...

TSDB在高速公路大数据平台的应用