使用开源的TDengine为电力运维平台,提供数据支撑

企业简介

上海嘉柒智能科技有限公司成立于2015年，是智慧用电整体方案提供商。公司汇聚多名电力及通信行业精英，拥有多名建造师、电气专业工程师，拥有分布式电站、系统集成、物联网接入、能效管理领域的多项知识产权。
2017年公司被评为国家高新技术企业，拥有电力工程施工总承包资质、电力行业工程设计资质、国家增值电信业务ISP/IDC经营许可证、对外贸易经营资格证以及质量、环境、职业健康安全管理体系。
公司凭借近数百个项目工程经验，具备丰富的系统集成经验，具有ABB、SIEMNES、SCHNIEDIR、青岛汉缆、新远东等国内知名品牌代理权。依托大数据技术、互联网技术、三联供技术、多能互补技术、虚拟电厂技术及能量管理技术，为工业园区、商业建筑提供综合用能解决方案，为企业有效节能节费，提高电力设施运维效率。
公司拥有专业的新能源电站设计队伍，为新能源电站提供项目可研、项目建议书、电站供配电设计及施工图设计服务；依托大数据技术、互联网技术、三联供技术、多能互补技术、虚拟电厂技术及能量管理技术，公司可为工业园区，商业建筑提供综合用能解决方案，为企业有效节能节费；公司着力于物联网接入技术研究开发，完善能源互联网多能接入方案，通过专业的通信及电力技术进行多平台整合。

业务场景
上海嘉柒智能科技有限公司致力于电力行业线下线上一体化运维,为此提供整体解决方案。业务包含电力运维，智慧路灯，隧道一体化等等。
嘉柒智能的电力运维平台嘉能云，专注于线下线上联合运维，具有海量设备接入能力、数据分析和计算能力，其中就电力运维平台数据库使用的是TDengine，在数据层面包含有：数据采集，数据传输，数据存储，数据分析。

数据采集：设备多种多样，生产研发采集设备及通讯管理机的厂家也非常多，这种场景特别适合TDengine的“一个设备一张表”模式。厂家的设备都是根据规约来生产的，电力规约通常有电力协议有许多比如(IEC101、103、104国内电力调度协议)、61850（国际通用），还有一些其他的比如Modbus-RTU、CDT等。而这些协议包含几种数据：遥测、遥信、遥脉、遥控、遥调等，这些数据都由一个或多个点表（点表包含测点类型及测点数量多有不同）上报，采集频率一般是五分钟（根据被监控设备的重要性及其需要的反应时间来确定），随着设备量的增加，数据量还是相当庞大的。
遥信：要求采用无源接点方式,即某一路遥信量的输入应是一对继电器的触点,或者是闭合,或者是断开。通过遥信端子板将继电器触点的闭合或断开转换成为低电平或高电平信号送入RTU 的YX 模块。遥信功能通常用于测量下列信号,开关的位置信号、变压器内部故障综合信号、保护装置的动作信号、通信设备运行状况信号、调压变压器抽头位置信号。自动调节装置的运行状态信号和其它可提供继电器方式输出的信号;事故总信号及装置主电源停电信号等。在TDengine中，此种类型的数据比较适合使用bool类型。
遥测：遥测往往又分为重要遥测、次要遥测、一般遥测和总加遥测等。遥测功能常用于变压器的有功和无功采集;线路的有功功率采集;母线电压和线路电流采集;温度、压力、流量(流速) 等采集;周波频率采集和其它模拟信号采集。在TDengine中，此种类型的数据比较适合使用float类型。
遥控：采用无源接点方式,要求其正确动作率不小于99. 99 %. 所谓遥控的正确动作率是指其不误动的概率,一般拒动不认为是不正确,遥控功能常用于断路器的合、分和电容器以及其它可以采用继电器控制的场合。在TDengine中，此种类型的数据比较适合使用bool类型。
遥调：采用无源接点方式,要求其正确率大于99. 99 %. 遥调常用于有载调压变压器抽头的升、降调节和其它可采用一组继电器控制具有分级升降功能的场合。在TDengine中，此种类型的数据比较适合使用float类型。
遥脉：遥脉往往是累积量，通常用于尖峰平谷时期的电度量采集（分为有功电度、无功电），电压暂升、暂降等等。在TDengine中，此种类型的数据比较适合使用double类型。
数据传输：数据传输方式，多采用RJ45口传输，或者sim卡无线传输，这取决于监控站允许的网络环境，如果是串口，则加一个转换设备将串口转为网口数据
数据分析：嘉能云电力运维平台，针对不同站具体的情况，提供相应的数据分析服务。常见的数据分析有：模拟量越限，异常开关，电气火灾，用电分析等等，紧急情况将第一时间通知到电力运维负责人。TDengine的降频和流式计算功能，为此种场景，提供了极大的方便。
数据存储：接入站点众多，每个站点有多个设备，每个设备有多个测点，采集时间间隔小。在这样的情况下，数据量已经非常庞大了，必须要有一个可靠性高，能快速插入、查询大量数据的数据库。考虑到数据库的方便使用，数据库性能，以及语言环境；我们开始尝试使用TDengine，并且用python作为执行快速插入/查询的client。
本平台支持公网接入或平台接入两种接入方式: 公网接入数据解析,数据传输皆在云端完成,平台将云端数据通过消息队列订阅下来, 且在订阅服务中,植入TDengine操作代码,将接收到的设备三遥数据直接存入TDengine, 避免数据流转时间过长. 平台直接接入设备,嘉能云平台具备协议解析能力,能直接将设备上传的字节流数据解析出来,再存入TDengine.
数据存储结构:在TDengine数据库中,存储方式我们采用站名为数据库名,表名为设备名, 一个设备一张表,以冻结时间为主键,以点表测点标识符为字段名的模式;
由于接入设备各不相同,在接入设备之前,我们为每个设备创建物模型,相同物模型的设备归为一类,相同站归为一组, 再通过数据库同步到TDengine生成相应的设备表。使用TDengine的超级表，可以实现对同一类设备的统一管理。

Show databases;

select * from da00012829 limit 1\G;

数据量写入: 在决定使用TDengine之前,我根据：
1）十个站一千个设备；
2）五分钟采集上报一次；
3）一个设备两百个测点；
4）云端接入的情况做了一下简单测试: 一千个设备一千张表,每张表200个field,也就是20万个测点值要分一千次,存入TDengine,经持续的插入测试，数据并无丢失,且运行稳定。

Log记录:

数据查询:
在数据查询方面,用于数据分析的数据查询,我们觉得数据分析完全在代码层处理是非常慢的,尤其是在数据密度大,分析数据时段长的时候, 这会很影响用户体验, TDengine除了可以快速插入数据, 另外一个重要的点就是可在数据库层面将数据预处理(过滤,填充,时间段筛选,数据查询密度等等),且速度快;

查询举例: 观察一个月内的电压情况, 查询出相关设备的电流电压,以及产生的告警;综合分析。根据采集间隔计算:时间范围30天43200分钟,密度为5min一个点,则是8640个值,三相电压则一次返回三组数据;

在接口中嵌入TDengine时序稀释数据查询代码示例, 做到即时查询即时返回:

部分设备测点同比分析示例:

感受:
TDengine确实是一款不错的时序数据库,开源,高效的存储和查询, 存储空间的节省。最开始只是关注插入和查询性能，数据的压缩率确实给了不少的惊喜，大约11%，节省了不少的存储空间。
connection的人性化,轻量级的软件,每种语言的样例程序，在安装包中都/examples中都可以找到。

建议:
TDengine数据库的链接对象处理机制不够完美,希望2.0版本能够有改变
在数据库查询方面:希望查询能够更加灵活,且能更多的分担代码计算的压力, ,这也将使得TDengine在项目中的地位越重.

使用开源的TDengine为电力运维平台,提供数据支撑相关推荐

使用TDengine快速搭建运维监测系统
使用TDengine快速搭建运维监测系统提到监测,有很多成熟的解决方案,似乎已经没有再讨论的必要,但随着计算机技术的发展,越来越多的场景开始需要监测,它会向着更深更广的方向发展.从业务领域来看,运维 ...
TDengine 在IT运维监控领域的应用
目录前言一.TD 特点二.安装部署 2.1 部署 2.2 验证三.应用领域 3.1 运维监控 3.2 远端扩展总结前言 TDengine 由北京涛思数据科技有限公司(TAOS Data)自 ...
《开源安全运维平台OSSIM最佳实践》实验环境下载
<开源安全运维平台OSSIM最佳实践>实验环境下载由清华大学出版社首发.当当.京东自营店.天猫.亚马逊均有销售. OSSIM开源安全交流QQ群: 179084574 经多年潜心研究开源 ...
阿里巴巴云原生大数据运维平台 SREWorks 正式开源
简介:阿里巴巴云原生大数据运维平台 SREWorks,沉淀了团队近10年经过内部业务锤炼的 SRE 工程实践,今天正式对外开源,秉承"数据化.智能化"运维思想,帮助运维行业更多的从 ...
让你久等了《开源安全运维平台OSSIM疑难解析--入门篇》正式出版
2019年暑期,众所期待的新书<开源安全运维平台OSSIM疑难解析--入门篇>由人民邮电出版社正式出版发行.此书从立意到付梓,历时超过两年,经过数十次大修,历经曲折与艰辛,希望为大家代奉献 ...
让你久等了！《开源安全运维平台OSSIM疑难解析--入门篇》9月上市
2019年暑期,众所期待的新书<开源安全运维平台OSSIM疑难解析--入门篇>开始印刷,9月份即可预售.此书从立意到付梓,历时超过两年,经过数十次大修,历经曲折与艰辛,希望为大家代奉献一本 ...
Batbot智慧电力云平台：新基建迎来加速发展，电力运维走向智能化*
进入二十一世纪的第二十个年头,5G冲击着各行各业,随着5G与物联网到来,大数据成为了新基建的核心生产因素,这也势必会影响电力网企业的发展.在电力运维的过程中,设备软硬件的存储.数据分析.安全隐患监测等 ...
绿色双碳目标发展：ZTMap三维融合渲染平台打造数字孪生智慧电力运维保障系统
前言 2021年3月,中央财经委员会第九次会议正式提出"构建以新能源为主体的新型电力系统" 深化电力体制改革,实现"双碳"目标.面对下半年双碳目标政策的爆发性 ...
浅析无人值班变电站的电力运维云平台的维护
安科瑞王丹丹acrel2021 摘要:文结合本地区变电站实际运行情况,主要就无人值班变电站的运行.管理.维护方面,作出简要论述. 关键词:变电站:无人值班:运行:维护:管理 1引言近年来,随着电网的 ...

使用开源的TDengine为电力运维平台,提供数据支撑

使用开源的TDengine为电力运维平台,提供数据支撑相关推荐

最新文章

热门文章