摘要:2017云栖大会·上海峰会上,阿里云发布了面向物联网场景的高性能时间序列数据库 (Time Series Database , 简称 TSDB) 。TSDB 可支持每秒1000万时序数据点写入;具备PB级别的数据存储能力,提供高效压缩算法,整体存储成本降低90%;提供时序数据插值计算,降精度计算,时间纬度聚合计算,空间纬度聚合计算的能力。

TSDB 是一种高性能、低成本、稳定可靠的在线时序数据库服务;提供高效读写,高压缩比存储、时序数据插值及聚合计算。是物联网(IoT)设备监控系统 ,企业能源管理系统(EMS),生产安全监控系统,电力检测系统等行业领域的专业数据库。

TSDB 打造物联网智慧园区

TSDB 已经在阿里巴巴内部孵化多年,在阿里巴巴集团已经支持了20多个核心业务场景,比如阿里智慧园区的物联网(IoT)建设。

智慧园区主要解决办公园区的设备的管理和智能控制。设备管理主要是将设备接入到统一的设备管理平台,同时对所有设备的运行情况进行监控,及时发现故障设备,了解整体的设备运行情况以便于做出相应的决策。

而智能控制就是系统能够根据设备的运行状态,通过某些规则的设定自动的进行各种调控,比如:当某个办公区域的人数大于20人时,可以自动开启亮灯,小于20人是可以自动关灯,或者当某一区域的一氧化碳的水平高于预警值,则自动启动报警开关,对于园区的安全管理也非常必要。

对于技术而言,设备的监控和智能控制的规则的匹配,本质是数据的收集和监控分析。

园区的设备种类繁多,包括摄像头、电灯、空调、空气检测,这些设备上都有非常多的传感器,这些传感器每一时刻都在实时的产生数据,这些数据随着时间的推进,会在时间轴上产生一些列的数据,就是我们说的时序数据,比如温度、湿度、用电量等。要实现设备的监控管理,其实就是将这时序数据进行实时的采集存储和分析展现,而 TSDB 就是时序数据领域的专业数据库。

TSDB 集群可支持每秒 1000 万的时序数据点写入

TSDB 具备关系数据库及NoSQL 数据库所不具备的写入能力。

智慧园区以及其他的IoT场景,设备的规模通常是万级别至百万级别,每个设备都实时产生数据,需要将实时数据快速的写入到数据库中,那么每秒就要写入上百万甚至上千万的实时数据。

百万甚至千万级别的实时数据写入对于数据库并发写入的压力非常巨大,使用关系型数据库完全不可行。 因为 InnoDB 的写入性能是很有限的,实际测试在24台机器上,存储使用SSD硬盘,一秒钟只能持续写入只有两万左右,主要原因在于B树索引。InnoDB 的索引是一个B树,这个B树的更新有很大的开销。虽然我们可以通过一些办法优化,但时序数通常是一个多维数据,通常是 ADhoc 的查询,为了优化所有排列组合查询,需要建很多多列的索引,这些索引每次在写的时候每个都需要更新,所以就会导致很多的IO。

而 TSDB 针对时序数据库的进行写入优化,基于时间序列的时间线数据结构进行存储写入,实际业务使用场景中最高支持到每秒 1000 万的时序数据点写入。基于阿里云 4C8G规格的 ECS,单台平均达到10万/秒的数据写入,峰值达15万/秒。

TSDB 具备领先的时序数据分析技术优势

在数据查询方面,TSDB 也具备领先的技术优势。在时序数据领域“插值(interpolation)”,“降精度(DownSimple)”以及“聚合计算(Aggregation)”是常见的业务需求。举个例子, 智慧园区的业务系统需要查看一个楼宇的某盏灯的耗电量情况,那么就需要把这盏灯的耗电量数据从数据库中查询并展示出来,如果由于采集的故障导致某个时刻用电量数据缺失,那么需要通过特定算法来近似的估算出这个数据,这个计算补全数据的过程就是“插值”。而当需要查看这盏灯一年的耗电趋势情况时,通常只需要计算出每一天的耗电量,进行查看,而不需要把每一个时刻采集的数据全部输出出来,这个将原始精度转化为业务需求精度的过程就是“降精度”。而如果要统计某一个楼层或者楼宇的用耗电量整体趋势数据时,就需要将所有统计范围内的灯具的耗电量数据做“合并统计”,这个类似的统计过程就是Aggregation。

时序数据降精度是在时间序列维度上做的。对于关系数据库来说,首先要把时间序列维度拿出来,然后在中间插值,而实际上 SQL 是按点来操作的。所以如果要做降精度的话,需要用一个值查询把整条时间序列上的数据查询出来,插好值之后才能做时间序列之间的聚合,那么服务和 SQL 服务器之间的吞吐量非常大,相当于 SQL 只是一个数据通道需要把所有值都拉出来运算一遍,这个查询性能会非常慢,并且每一次计算都需要重新拉取数据,相对 TSDB,这个性就能差了几百倍。

TSDB 支持线性插值,可以尽量弥补数据异常缺失造成的统计失败。TSDB 支持 Max ,Min ,AVG 等各种降精度的计算函数,同时也可以通过“预降精度”的方式,将业务精度的数据在入库的过程中计算完成,提升查询的效率。TSDB 在的空间聚合 Aggregator 支持也非常全面,支持 ADhoc 查询,TSDB 通过引入倒排索引和数据分片提升检索时间序列的效率,通过并行计算架构,整体计算性能提升非常明显。

TSDB 兼容 OpenTSDB 协议,写入性能提升20倍,压缩效率提升10倍。

TSDB 兼容 OpenTSDB 访问协议。OpenTSDB 是时序数据库领域相对活跃的技术产品,TSDB 通过技术优化后相对于 OpenTSDB 写入性能提升20倍以上。TSDB 压缩效率相比较 OpenTSDB 提升10倍左右,通常原始时序数据的大小在 200-300 Byte,OpenTSDB 单数据点消耗约20 Byte,TSDB 单数据点消耗约 2Byte,通过 TSDB 可以节约90%以上的数据库存储成本。

TSDB 所具备的高效数据写入和高压缩比的特性,以及阿里长期业务实践的所提供的稳定性保证,结合阿里云上丰富的产品生态,可以帮助 IoT 企业快速构建自己的智慧物联网监控分析系统,也可以帮助传统的石油化工及制造企业插上物联网的翅膀,打造属于企业自己的智慧系统。

现在,TSDB 在阿里云官网启动免费公测。

公测名额有限,立即申请http://click.aliyun.com/m/27108/

阿里云高性能时序数据库 TSDB 启动公测,为物联网而生的数据库!相关推荐

  1. 互联网日报 | 3月23日 星期二 | 京东集团8亿美元增持达达集团;阿里云盘正式启动公测;快手进军二手电商...

    今日看点 ✦ 京东集团8亿美元增持达达集团,持股比例增至51% ✦ 字节跳动收购游戏公司沐瞳科技,继续扩展海外游戏市场 ✦ 快手正式宣布进军二手交易,3个月累积订单超63万 ✦ 阿里云盘正式启动公测: ...

  2. 刚刚,阿里云知行动手实验室正式开放公测了

    来源|阿里巴巴云原生公众号 经常去 GitHub 看 trending 开源项目源码,明明都看得懂,为什么感觉对技术提升不明显? B 站热门教程都学了,极客时间也氪金了,听的时候觉得头头是道,到自己写 ...

  3. 阿里云分布式容器平台即将全面启动公测

    云原生时代,混合云已经成为企业上云新常态.为了帮助企业全面构建安全.标准.现代化的云原生 IT 架构,阿里云面向混合云/多集群/分布式计算等场景推出分布式云容器平台,使企业更轻松地连接并管理用户任何地 ...

  4. 华为mysql金融版_华为云数据库MySQL金融版公测,打造满足金融场景数据安全性的高端产品...

    日前,华为云数据库推出MySQL 金融版,基于Paxos协议,采用一主两备三节点架构,解决数据库分布式环境下数据一致性的问题,实现了自动脑裂保护机制,保证数据库高可用和高可靠,满足金融场景下的数据库高 ...

  5. oneapm for php,OneAPM For PHP启动公测:成国内首家PHP应用性能管理提供商

    1月29日,中国首家基于真实用户体验的APM(应用性能管理)服务提供商OneAPM(蓝海讯通)正式开启OneAPM For PHP版本的公测,成为国内首家支持PHP的APM解决方案提供商. APM是近 ...

  6. 阿里云高性能AI服务 -- 基于Docker和EGS一键创建高性能Tensorflow分布式训练

    一. 概述 Tensorflow是目前使用最为广泛的深度学习框架之一,但是目前搭建分布式多机多卡训练比较困难,而且Tensorflow原生的分布式的性能很差,特别在云计算虚拟化环境下并行的挑战更大. ...

  7. 阿里云性能测试服务 PTS 新面貌 - 压测协议、施压能力全新升级

    作者:笛墨 审核&校对:风云 编辑&排版:雯燕 引言 性能测试 PTS(Performance Testing Service)是一款阿里云 SaaS 化的性能测试工具,从最早为了精准 ...

  8. 为数据计算提供强力引擎,阿里云文件存储HDFS v1.0公测发布

    2019独角兽企业重金招聘Python工程师标准>>> 在2019年3月的北京云栖峰会上,阿里云正式推出全球首个云原生HDFS存储服务-文件存储HDFS,为数据分析业务在云上提供可线 ...

  9. 阿里云图数据库GDB公测,高度连接数据查询效率提升10倍

    3月21日,阿里云图数据库GDB正式公测,用于处理高度连接数据查询与存储,支持属性图模型,并且全面兼容TinkerPop Gremlin 查询语言. 图数据库覆盖的应用场景非常广泛,比较典型的有社交网 ...

  10. 阿里云盘今日公测:无论用户是否付费,未来都不会限速

    今日,阿里云盘正式启动公测,各大应用商店用户评论显示,阿里云盘上传下载均"不限速",不少用户5G下载速度50~100MB/秒. 未来会不会为了收费降低体验?也是用户最关心的议题.就 ...

最新文章

  1. 【神经网络】(3) 卷积神经网络(CNN),案例:动物三分类,附python完整代码
  2. 几种典型磁铁表面的磁感应强度的变化
  3. Java 日志缓存机制的实现--转载
  4. 前端优秀博客网站收集
  5. 为啥国人偏爱 Mybatis,而老外喜欢 Hibernate/JPA 呢?
  6. MSP432 库函数实现 PID 电机调角度、调速
  7. android+微信一键关注,一键关注微信公众平台JS代码有哪些?
  8. redis的四大特性和原理
  9. Linux目录下有剩余空间,但无法写入数据
  10. 史上最细的FIFO最小深度计算,(大多数笔试题中都会涉及)
  11. hdu 5083 Instruction (稍比较复杂的模拟题)
  12. 硬件基础-开尔文电桥法
  13. TensorFlow学习日记9
  14. Ogg For Bigdata 同步Oracle数据到KAFKA(包括初始化历史数据)
  15. 电子商务时代的网络营销
  16. 禁用计算机外部设备,禁用扫描仪的多种方法
  17. LoadRunner使用教程
  18. Discuz!快速对接个人支付插件
  19. 以太坊2.0 POS挖矿(ETH2 Staking)教程(二)Topaz测试网-监控篇
  20. CSS Sprites(CSS图片精灵、雪碧图)看这里就够了

热门文章

  1. 再读simpledb 之 SQL语句解析(1)
  2. C#中索引器的简单使用
  3. 转:开源数据库中间件MyCat实现数据库读写分离、分表分库指南
  4. python-常用模块-time、datetime模块
  5. python中read() readline()以及readlines()用法
  6. ZH奶酪:PHP中添加HTML代码的三种方法
  7. sharepoint 2010 在线打开office时报错
  8. pass the URL parameters from the webseite page to Flash
  9. SEH in ASM研究
  10. Spring 事务管理tx,aop