数据规模超大，分布密集，数据存储难
智能电网是由许多部分组成，包括智能变电站，线路输送，智能交互终端，智能电表，智能中央系统等等。每个部分都集成了大量的传感器，这些分布在全网各节点的传感器无时无刻不在收集各类数据。随着中国智能电网建设的不断完善，其测点的规模越来越大，达到数千万级以上，并且单个测点将以分钟级甚至秒级的频率产生数据。将会产生海量的监控数据，而且这些数据大部分属于时序数据。因此在针对智能电网构建集中式数据中心时，如何存储、处理、分析海量的监控数据成为一个难点，具体包括以下面三个方面 :
- 数据规模超大，分布密集，数据存储难
以智能电网中 WAMS 系统为例，每秒需要处理的时序数据记录数可达到一千万，因此需要支撑每秒千万级别的写入。常规的数据处理方式根本无法满足需求。
- 数据处理实时性需求高
针对数千万的电表终端，客户在充值后要立即生效，客户产生的电量要实时的计费，并反馈给客户等场景，都需要实时的处理海量数据；针对数千公里的电网线路监控，如果出现异常，要能及时告警等。
- 数据价值挖掘困难
电网检测点多，检测信息密集，在如此海量的数据中挖掘出有价值的信息也会遇到很大的挑战。
智能电网设备中的时序数据
智能电网中的时序数据一般是指由设备／仪表产生，由传感器进行收集，与某一设备具体相关，在时间上前后存在关联性的一类数据。如上图所示，对于电网中的电表设备，其电压、电流值就是典型的时序数据。
一条时序数据记录一般可定义为三元组： <DevicelD, Timestamp, Value>
- DeviceID : 产生该条数据的物理设备／传感器
- TimeStamp 为记录产生的时间戳
- Value : 为设备测点具体的值。
在智能电网设备运行中，需要存储的数据包括状态量和模拟量。状态量反应设备的运行状态和告警状态，一般通过事件顺序（Sequence of Event，SOE）记录可满足对数据的检索和分析需求。电流、电压和功率等模拟量会随着设备运行时刻变化，具有明显的时序特性，需要进行时序存储。通过在选定的时间内查询 SOE 记录，可以将状态量和模拟量进行关联分析。智能电网监控系统中，已对断路器、隔离开关，变压器、负荷和联络线等电网设备进行建模，数据模型包括状态量和模拟量，其中模拟量包括电压、电流、有功、无功和频率等，不同的设备类型需要采集和存储的模拟量不同。以智能电表为例子，智能电表是组成智能电网的基础设施，通常安装在用户楼宇，用于收集每户产生的电力负荷数据，智能电表至少每天将这些信息反馈给中央系统。智能电网时间序列数据主要由大量的时间戳 / 值对组成，且通常一次写入，多次查询，很少修改或删除，但可追加，根据智能电网应用场景，一般访问一段时间内或某一时间点的数据。下面我们可以具体看一下不同的电网设备采集和存储时序数据也大有不同。
经营概况、会员概况、店铺设置、配送设置、团长管理、团购商品、佣金记录、提现管理、基础设置、会员列表、会员分组、商品列表、商品分类、商品规格、商品属性、订单列表、订单售后、电子卡券、评论管理、核销管理、团长统计、商城概况、交易分析、商品分析、网站统计、优惠券、发券助手核销、优惠券拼团、秒杀、砍价、分销、文章营销、新客有礼、支付有礼、短视频、微信直播、开屏广告、弹窗广告、储值卡、超级海报、活动海报、会员价格、积分商城、积分规则、会员储值、会员签到、积分提现、会员卡等功能。
数据规模超大，分布密集，数据存储难相关推荐
- 到底什么是数据湖？全面解读数据湖的缘起、特征、技术、案例和趋势
正文开始 本文有1.5万字,预计阅读30分钟,可以先收藏 数据湖近几年迅速蹿红,今天笔者做一个综述,包括数据湖的缘起.数据湖的定义.数据湖的特征.数据湖的技术.数据湖的趋势和数据湖的案例六大部分,如果 ...
- 大数据 挑战 机会_大数据可视化面临哪些挑战
数据可视化在大数据场景下面临诸多新的挑战,包括数据规模.数据融合.图表绘制效率.图表表达能力.系统可扩展性.快速构建能力.数据分析与数据交互等. 数据规模 大数据规模大.价值密度降低,受限于屏幕空间, ...
- 大数据的理解，大数据是什么，大数据能干什么？
一.概念: · 一种规模大到在获取.存储.管理.分析方面大大超出了传统数据库软件工具能力范围的数据集合,具有海量的数据规模.快速的数据流转.多样的数据类型和价值密度低四大特征. 大数据的本质就是一大堆 ...
- 什么是大数据？怎么理解大数据？有哪些作用和应用场景？
想必大家听到大数据这个词,已经如同家常便饭这么频繁了吧?可大数据究竟是个什么东东?大数据可以用来做什么?目前大数据有哪些应用呢? 大数据的概念是什么? 最早提出大数据的是麦肯锡公司,当时的定义是: 渗 ...
- 盒装数据：一种基于数据盒的数据产品形态
盒装数据:一种基于数据盒的数据产品形态 叶雅珍1,2, 朱扬勇1,2 1.复旦大学计算机科学技术学院 2.上海市数据科学重点实验室 摘要:与通常的商品市场一样,数据市场中流通的数据商品也分为标准产品和 ...
- 谷歌研究院最新发现：训练结果不准确，超大数据规模要背锅！
点击上方"视学算法",选择加"星标"或"置顶" 重磅干货,第一时间送达 仅作学术分享,不代表本公众号立场,侵权联系删除 转载于:新智元 数据 ...
- 都说大数据就业好，为什么数据分析这么难就业？
大数据和数据分析还是两个不同的方向的哈~ 大数据开发做什么? 大数据开发分两类,编写Hadoop.Spark的应用程序和对大数据处理系统本身进行开发.大数据开发工程师主要负责公司大数据平台的开发和维护 ...
- ICT技术发展趋势，AI、大数据和云计算的概述及存储应用技术【2】
文章目录 ICT技术发展趋势 云计算存储应用技术 云计算概述 AI.大数据存储应用技术 大数据概述 ICT技术发展趋势 各行各业都在面临IT新技术的挑战,IT新趋势正在改变世界,基于数字世界重构规则. ...
- python组合数据分类_Python解决数据样本类别分布不均衡问题
所谓不平衡指的是:不同类别的样本数量差异非常大. 数据规模上可以分为大数据分布不均衡和小数据分布不均衡.大数据分布不均衡:例如拥有1000万条记录的数据集中,其中占比50万条的少数分类样本便于属于这种 ...
最新文章
- 广域网设备：远程路由器/交换机/服务器—Vecloud
- String和StringBuffer的区别，String长度是固定的？
- 【温故知新】CSS学习笔记（显示模式简介）
- 因云而生，全新视角看阿里云服务器硬件方升架构
- linux wlan进程名称,linux无线网络配置无线网卡驱动安装与wlan802.11配置
- Android 系统（53）---关于触摸屏快速点击事件误识别为滑动事件
- 在vue项目中 如何定义全局变量 全局函数
- [洛谷P3550][POI2013]TAK-Taxis
- PDE6 Transport with decay
- 百度贴吧客户端(Android)网络通信行为分析
- 类人猿X64安卓手游封包技术教程(主要易语言+个别C++)
- 文献阅读 - Expressive Expression Mapping with Ratio Images
- 工业控制计算机固态硬盘,我们如何选择一款好的工业级固态硬盘？
- 药监局，药品监督管理局
- 高德地图api调用demo_高德地图定位如何调用api？
- Josephus问题(最后一个退出的人)
- 通俗的角度理解遍历性定理 （从大数定理,中心极限定理再到遍历性定理）
- 【MAX78000基础案例演示】
- ubuntu安装mysql忘记密码并重置
- uboot代码解析3:内存管理、控制台、网络、启动函数