连物联网数据都理不清楚还怎么搞大数据分析？

http://iot.ofweek.com/2017-04/ART-132214-8120-30122147.html

数据即价值是目前计算机领域极其推崇的观念。数据无论多少都被归结为大数据，数据分析越来越热门，资本也对贴有大数据标签的公司趋之若鹜。数据如同流动的数字货币一样被一再的评估、追崇。

当物联网在行业开始落地和应用后，由于其数据产生的速度之快，种类之多，体量之巨大都会对现有云端技术架构、数据处理方式带来超乎想象的压力和挑战。

面对如此复杂的数据，传说中的 “数据即价值”将被 “有价值的数据”这一理性的认识所打破。

物联网的数据有哪些特点？有没有合理化的分类方式？我们有没有应对物联网数据带来的压力和挑战的能力？物联网1．0阶段有价值的数据有哪些？

数据分类

静态数据与动态数据

单从数据的变化上来说，物联网数据可以分为静态数据和动态数据，静态数据多为标签类，地址类数据，RFID产生的数据多为静态数据，静态数据多以结构性、关系型数据库存储；动态数据是以时间为序列的数据，物联网动态数据的特点是每个数据都与时间有一一对应关系，并且这种关系在数据处理中尤其重要，这类数据存储通常采用时序数据库方式存储。

静态数据会随着传感器的增多，控制设备数量的增多而增加；动态数据不仅随设备数量，传感器数量增加而增加，还会随时间的增加而增加。

无论静态数据还是动态数据，在物联网1．0阶段数据的增长是线性的，并非是指数级的，但是因为物联网动态数据是连续不间断的，因此数据的量也是海量的。因此物联网1．0阶段数据的压力是可控的，并不是如宣传的那样不可数，不可控。

能源类／资产属性类／诊断类／信号类

就数据的原始特性来说，我们可以把物联网数据分为能源类数据、资产属性类数据、诊断类数据、信号类数据。

能源类数据：是指可以能耗相关的，或者是计算能耗所需的相关数据例如电流、电压、功率因子、频率、谐波等等。能源数据是物联网最关键的数据类型，物联网最终的目的之一就是节能，那么获取能源数据，理解能源数据，分析能源数据是物联网实施中必须的功能。能源采集设备也是物联网重要的设备之一。

资产属性类数据：资产类数据通常指硬件资产数据比如设备的规格、参数等属性，设备的位置信息，设备之间的从属关系等等。资产类数据主要用于资产管理，资产管理是工业物联网非常重要的功能甚至可以作为独立的系统研究，因为它可以和ERP系统、MES系统、物流等几乎所有的系统对接。

诊断类数据：诊断类数据是指设备运行过程中检测设备运行状态的数据，诊断类数据可以有两类：一类为设备运行参数，例如设备输入／输出值，这里通常为传统工业自动化类数据即OT技术相关类数据；另外一类为设备外围诊断数据，例如设备的表面温度、设备噪音、设备震动等等，值得提出的是外围诊断才是物联网技术体现的地方它包括新型传感器技术和物联网通讯技术。外围诊断数据是预测性维护的重要的元数据，也为深度控制模型提供依据，因此诊断类数据是我们需要着重关注的数据类型。

信号类数据：信号类数据或者告警类数据是目前工业领域使用最普及的数据，因为其直观、易懂、关键，同时在本地、远程同时告知。信号类数据容易被忽略，但是它是物联网所需要的、也是快速可以采集到、并对物联网系统提供重要参考价值的数据之一。

数据之间的关联性

数据之间的关联性是不同数据之间的关系，数据之间的关系对了解整个系统的运行有着最直接的影响，数据之间的正确关系的梳理是系统有效运行，产生价值的基石。

数据之间的关联性可以从下面几个方面分析：

时间关联性：即同一时刻的数据照相，数据是同一时刻系统产生的，它反映的是系统这一时刻的状态，从数据世界角度看，这个系统就是这一时刻的数据集合。数据照相体现的是系统静态展示；时间戳是这类数据关键的因素，因此要求各个数据获取的时间戳必须相同，时间戳是目前很多数据所缺失的，也是物联网实施中需要关注和解决的问题之一。

流程关联性：即一个点的数据进过一定时间后影响第二个点数据的产生，它体现的是系统动态的流程展示。数据之间的流程关系性需要模型提供，并在实施中进行修正。

数据的时效性

数据的时效性是指数据产生到其被清除的时间，数据时效性是由系统的实施部署所决定。数据可以被使用多次也可以被使用一次后就可以被清除。总体来说远程部署数据还是边缘部署数据影响着数据的时效性，通常边缘部署的数据时效性短，远程数据的时效性长。边缘部署需要的数据通常及时性强，但是边缘存储空间，计算能力弱因此不能长期保存；远程数据通常为历史性数据展示、计算分析，同时云端空间、计算的伸缩性强，因此数据时效性长。

数据的实时性也是数据时效性的一部分，实时性和数据的部署位置，数据的重要性以及传输方式都有关联性。

以数据为中心的物联网设计方法论

总结物联网中的各类数据及特性或者抽象其通用性的目的是为了更好的选择不同的物联网技术进行快速、有效的实施。以数据为中心的物联网解决方案甚至商业模式将会是物联网的主流设计思想。

下文将从数据如何采集，数据如何预处理、数据如何传输等不同的角度进行分析如何应用物联网的各种技术。

以数据流向为核心的设计思路

从数据流向来设计包括：数据采集、数据汇聚、数据传输、数据持久化、数据展示、数据处理、数据矫正、数据消费。

以数据生产／消费的为核心的设计思路

生产／消费为核心的设计思路多以云端业务为中心，尤其整合现有各个分散子系统为目标或者产业链上下游的协同操作，物联网的数据多以关键数据指标类型为主或者为起始数据角色。

1）下面为供应链的数据流设计思路。

2）下面为综合管理系统设计

了解物联网数据是什么，并能够提出相应的物联网技术，掌握有价值的数据是物联网方案技术层面的第一步。同样也是物联网技术最终的具象单元——“有价值的数据”。

连物联网数据都理不清楚还怎么搞大数据分析？相关推荐

研究生论文致谢频用诗词！导师：摘要都写不通你还敢搞文学？
点击下方卡片,关注"CVer"公众号 AI/CV重磅干货,第一时间送达点击进入-> CV 微信技术交流群本文转载自:募格学术 | 参考资料:微博.募格课堂.白鹿视频等. ...
理工科研究生论文致谢频用诗词，导师：摘要都写不通你还敢搞文学？
点击上方"视学算法",选择加"星标"或"置顶" 重磅干货,第一时间送达本文募格学术撰写.参考资料:微博.募格课堂.白鹿视频等. 要我说,& ...
收藏 | 100+篇大数据学习资讯，带你玩转大数据分析！
2019独角兽企业重金招聘Python工程师标准>>> 深度解析如何挑选适合自己的Hadoop平台什么是Hadoop,怎样学习Hadoop 分布式文件系统HDFS解析 Hadoop ...
java的for循环取出数据只是拿到最后一个_新兴大数据分析榆中百合
新兴大数据分析榆中百合大数据流程从流程角度上看,整个大数据处理可分成4个主要步骤. 处理流程图分为三层(数据采集层,数据存储与计算处理层,数据可视化): 表2-1 系统环 ...
全国大学生大数据技能竞赛——基于Scala和Echart的大数据分析与挖掘
基于Scala和Echart的大数据分析与挖掘题目三:大数据分析与挖掘案例 Spark基站统计分析 Scala语法基础数据读取 1．读取文件数据 (1)按行读取 (2)按字符读取 2．写入数据数 ...
精准大数据获客——移动联通电信运营商大数据分析_营销
目前,移动.联通.电信三大运营商都在加速进行大数据能力建设.完善和丰富大数据的应用模式和基础架构.在大数据时代,企业的销售和营销渠道已由传统模式转为向大数据营销模式,大数据营销模式更顺应时代的变化和发 ...
数据治理的时代演变之道：大数据分析与机器学习落地应用的未来
本篇概要: 数据治理经历的时代演变,数据治理各时代演变的历程,合理化推想数据治理的未来数据治理经历的时代演变随着第四次工业革命的来临,数字化生产已经成为普遍的商业模式,全球各行各业都在积极探索和开 ...
大数据druid查询不支持分页_Druid实时大数据分析查询(六)
Druid的数据查询过程以及查询语法 Druid提供了HTTP REST风格的查询接口.用户对数据的查询通过HTTP请求发送到查询节点(Broker Node),然后查询节点转发至历史节点(Histo ...
大数据新闻推送你怎么看_大数据分析表明：新闻越“假”转发越多！你知道为什么吗？...
国外一项最新研究显示,各类社交网络是虚假信息扩散流传的主要推手. 科学家们开展这项研究的主要驱动力是2013年的波士顿马拉松爆炸事件,事件发生后,科学家发现社交媒体上出现了大量假消息,比如一条消息说, ...

连物联网数据都理不清楚还怎么搞大数据分析？

以数据为中心的物联网设计方法论

连物联网数据都理不清楚还怎么搞大数据分析？相关推荐

最新文章

热门文章