作者：何佳瑞

小T导读：在万物互联的时代，大到企业数字化转型、数字城市建设，小到和生活息息相关的家居生活、智能驾驶、运动健康等，都离不开智能物理设备广泛的连接和互通。AIoT是人工智能和IoT技术的融合，通过物联设备网产生、收集来自不同维度的、海量的数据存储于云端、边缘端和设备端再通过海量数据分析引擎，以及更高形式的机器学习、神经网络，实现万物数据化、万物智联化。

https://github.com/taosdata/TDengine

2014年起，京东从智能家居领域开始发力，在业界率先推出语音交互入口-叮咚智能音箱，实现了广泛的设备品类互联生态，同时整合集团内部零售、物流、大健康、工业品等关键领域的物联网技术能力，持续助力社区、城市、车联、工业等关键行业领域，广泛服务于实体经济，助力企业转型升级。本文在京东云IoT多年来行业实践经验积累的基础上，分享在数据存储方面的一些做法。

一、场景与痛点

数据是数字化时代企业的核心资产。京东云智能家居场景维护着大量的智能设备，这些设备联网后，会根据设备设定的速率持续产生时序数据，比如有的设备采样间隔是15秒。京东云IoT团队结合本公司数据特点与业务需求，对多种工业时序数据库进行了技术选型，以解决庞大的数据存储和计算带来的挑战：

数据存储具有较高的数据压缩比，节约存储资源，降低IT成本
写入和查询性能优异，数据库底层逻辑的优化可以减少CPU开销
支持数据预聚合，拥有丰富的计算算子
强有力的稳定架构

二、技术选型

我们对两种业界主流的时序数据库做了分析和测试：

OpenTSDB：基于HBase的分布式、可伸缩的时间序列数据库。作为基于通用存储开发的时序数据库典型代表，起步比较早，在时序数据库领域的认可度相对较高，但HBase成本高的问题无法免除。
TDengine：在性能、成本、运维难度等方面都表现不俗，支持横向扩展，且高可用。

通过实际对比测试，我们初步选定TDengine作为数据存储方案。TDengine相比于OpenTSDB有明显的优势：

TDengine写入吞吐量高出200%
1亿条记录平均查询时间提升100倍
100万条记录读取时间提升32倍
1亿条记录按时间分组取均值时间提升40倍
成本开销降低2-3倍

三、数据建模

TDengine数据建模需根据数据的特性设计相应的Schema，以达到最好的性能表现。对于物联网设备而言，是围绕着设备孪生工作的。设备有对应的物类型、物模型，物模型描述了设备的属性感知和交互行为。因此，我们基于物类型、物模型进行了Schema的设计：

基于物类型、物模型创建超级表
数据聚合以字表为维度，按照物模型及数据特性，选择不同的聚合算子进行聚合

超级表举例如下：

四、落地实施

结合业务需求与数据特点，我们采用的方案是：将设备上报的元数据存储在metadata库中，然后通过定时任务的方式，每小时以设备的维度，根据物模型，进行数据聚合，将聚合后的数据存储在statistics库中。同时为了减少数据存储的压力，将metadata的数据过期时间设置为固定时长。

五、改造效果

在与TDengine工程师沟通后，我们只使用了3台4C16G构成的TDengine的集群，就承载了线上的业务。

数据聚合方面，根据TDengine的性能、机器配置和前期测试的时间开销，只需很短的时间就完成了全量设备的数据聚合。

CPU方面，一直很稳定，在常态下CPU低于10%，由于设备的数据聚合需要消耗大量的CPU，因此在每个整点CPU会有所上升，但是不超过45%的负载。

六、总结

通过一段时间的运行，TDengine在成本、性能和使用便利性方面相比OpenTSDB都有非常大的优势，实现了海量物联数据的高性能、低成本的存储。

在项目实施过程中， TDengine的工程师提供了专业、及时的帮助，在此表示感谢。希望TDengine能够继续提升性能和稳定性，开发出更多的新特性、新功能，实现更大的突破。

点击查看活动详情，iPhone 13 Pro 等你带回家！

TDengine助力京东云IoT数据统计改造相关推荐

云+X案例展 | 民生类：京东云突破数据中心光互联瓶颈
本案例由京东云投递并参与评选,CSDN云计算独家全网首发:更多关于[云+X 案例征集]的相关信息,点击了解详情丨挖掘展现更多优秀案例,为不同行业领域带来启迪,进而推动整个"云+行业" ...
京东云开发者｜京东云RDS数据迁移常见场景攻略
云时代已经来临,云上很多场景下都需要数据的迁移.备份和流转,各大云厂商也大都提供了自己的迁移工具.本文主要介绍京东云数据库为解决用户数据迁移的常见场景所提供的解决方案. 场景一:数据迁移上云数据迁移 ...
京东20W条数据统计清洗分析
. Readme: 针对京东商城20W条美的热水器评论数据进行统计清洗分析. 分析出所有正面评论和负面评论. 分词统计热词出现频率. 分析出销售问题所在. 开发环境: 本项目的文本情感分析使用的是基于 ...
京东云数据库 RDS助力企业便捷运维
iPhone6发布那年,京东在国贸等商圈送货最快速度数分钟,包括从下单到送达.这是一个极端的富含营销因素例子.即便如此,常态来看,隔天到货的这种业务模式,也是基于同样的支撑:营销业务.物流业务,大数据 ...
京东云：AWS模式+数据云+行业方案，目标互联网+转型
4月1日,京东公司在华东.华北.华南三地基于新的数据中心同时上线了新的京东云平台对外提供服务,京东集团副总裁何刚率领京东云管理和研发团队接受CSDN记者采访,解读了新京东云的技术定位及发展战略. 20 ...
走进宿迁|解密开发者关心的京东云数据中心
2019年9月7日,我们招募的第一批[开发者走进京东云数据中心]活动已圆满落幕.此次活动中,我们特邀了两位行业KOL与开发者们同行,参观的同时,与大家进行技术沟通与交流. 今天,我们特别为大家带来了吴 ...
走进宿迁，解密开发者关心的京东云数据中心
近年来,京东云快速崛起.在市场调查公司 IDC 的<中国公有云服务市场(2019 第一季度) 跟踪>,京东云位列中国公有云 IaaS 市场第九名:在Forrester 评的 2018 年 ...
京东云首席架构师杨海明: 用技术实现数据价值
京东云华东数据中心位于江苏省宿迁市湖滨新区,在地理位置和水电能源方面均有较大的优势.园区总占地面积达13万平方米,整体将由4个规模相当的云数据中心模块和1栋综合大楼组成. 今年三月份,位于江苏宿迁的京 ...
618 前夕，不谈促销，京东云带你聊聊技术……
"技术,技术,技术",被誉为京东未来12年的重要战略.在零售创新的趋势影响下,恰逢一年一度618来临之际,京东究竟如何做到通过技术创新打造品牌和合作商的基础设施服务商呢? 这不,就 ...

TDengine助力京东云IoT数据统计改造