IoT数据科学与传统数据科学的10个差异

在过去的20年中，已经有超过60亿台的设备连网。所有连接的“事物”（统称为“物联网”）每天产生超过2.5个5万亿字节的数据，这每天足以填满575亿个32 GB的iPad（来源 Gartner）。所有这些数据必将在未来几年对许多业务流程产生重大影响。因此，物联网分析（IOT的数据科学）的概念有望推动物联网的商业模式，据福布斯报道，强大的分析能力会使得在物联网上更快取得成功。

物联网的数据科学与传统数据科学有相似之处，但也有一些显著的差异。下面列出物联网数据科学与传统数据科学的10个区别。

图片来源：Postscapes.

1、涉及硬件和无线电领域知识

2、边缘处理（Edge Processing）

3、物联网垂直领域中的具体分析模型

4、面向物联网的深度学习

5、物联网的预处理

6、传感器融合（Sensor fusion）在物联网中的作用

7、实时处理与物联网

8、物联网的隐私、保险和区块链

9、AI：机器互相教学（云机器人学：Cloud robotics）

10、面向企业的物联网与人工智能

1、涉及硬件和无线电领域知识

这听起来很明显，但很容易被低估，物联网涉及到一系列设备和各种无线电技术，这是一个随着新技术（如LoRa, LTE-M, Sigfox等）的出现而快速变化的生态系统。5G的部署将会带来更大的差异，因为我们将既有局域和广域连接。每个垂直领域（智能家居，零售，医疗保健，智慧城市，能源，交通，制造和可穿戴设备）也会有一套特定的物联网设备和无线电技术。例如，对于可穿戴设备，您可以看到已经使用蓝牙4.0，但对于工业物联网，您可能会看到服务质量有保证的蜂窝技术，例如GE Primdix与Verizon的联盟。

2、边缘处理

在传统的数据科学中，大数据通常存在于云中，但是对IoT不是这样的！许多像思科和英特尔这样的厂商称之为边缘计算。

边缘计算/边缘分析对许多公司是相对较新的方法，大多数架构还是将所有数据都发送到云。但在边缘计算中，这种情况不会发生，即数据可以在源附近进行处理，而不是所有数据都被发送回云。对于大规模的物联网部署，这种功能是至关重要的，因为产生的数据量非常庞大。

3、物联网垂直领域中的具体分析模型

物联网根据不同的垂直领域需要不同的模型，在传统的数据科学中，我们会使用各种算法，对于物联网，经常会使用时间序列模型，例如ARIMA，Holt Winters，移动平均法等，并且会涉及更大的数据量和更复杂的实时部署问题。模型的使用在IoT垂直领域上会有所不同，例如在制造业中：预测性维护（Predictive Maintenance）、异常检测（Anomaly detection）、预测和缺失事件填补也很常见。在电信领域，传统模型如流失模型、交叉销售、促销模型、客户终身价值模型也可以把物联网作为输入。

4、面向物联网的深度学习

如果你认为相机是传感器，那么会有很多深度学习算法的应用，例如CNNs在安全领域应用（案例hertasecurity），强化学习在物联网中也会有应用。

5、物联网的预处理

深度学习算法在物联网分析中起着重要的作用，来自机器的数据是稀疏的和有时间属性的。即使当我们信任来自特定设备的数据时，设备在不同的条件下也可能表现不同，因此数据预处理或算法训练阶段抓住所有可能场景是有困难的，连续监测传感器数据也是繁琐和昂贵的。深度学习算法有助于减轻这些风险，深度学习算法自己学习，让开发者专注于更好的事情，而不必担心训练它们。

6、传感器融合（Sensor fusion）在物联网中的作用

传感器融合（Sensor fusion）是将传感器数据或从分散源产生的数据结合在一起，从而使结果信息跟各自独立使用时会少一些不确定性。“不确定性减小”在这里是指更加准确，更加完整，或者更加可靠，或者指一种新兴观点的结果，例如立体视觉（通过结合来自两个稍微不同视角的照相机的两种维度的图片进行深度信息的计算）。

一个传感器融合应用是GPS/INS，全球定位系统和惯性导航系统通过使用多种不同方法进行数据融合，例如扩展的卡尔曼滤波。这是有用的，例如使用低价的传感器来确定航空器的姿态。另一个例子是通过收集路侧声学、图像以及传感器数据使用数据融合方法来决定交通状态（低流量，交通拥堵，中等流畅）。

另外，我们越来越多地看到自动驾驶汽车和无人机的传感器融合应用，将多个传感器的输入结合起来以推断出事件的更多信息。

7、实时处理与物联网

物联网既涉及实时性又涉及大数据问题，因此实时应用提供了与物联网的自然协同作用。许多IoT应用（如车队管理，智能电网，Twitter流处理等）具有独特的基于快速和大型数据流分析的特性。这些包括：

1）实时标记（Real time tagging）：由于非结构化数据从不同的来源产生，从噪声中提取信号的唯一方法是按照数据来源对其进行分类，这可能涉及使用模式化的概念。

2）实时聚合（Real time aggregation）：任何时候沿着滑动时间窗口聚合和计算数据，你就是在进行实时聚合：在过去5秒中找到用户行为日志模式，并将其与过去5年进行比较，以检测偏差。

3）实时时间相关性（Real time temporal correlation）：例如，基于位置和时间识别出现的事件，与来自大规模流式社交媒体数据的实时事件关联。

8、物联网的隐私、保险和区块链

在欧盟举行过一次会议上，曾经有人提出了“芯片沉默”（Silence of the Chips）的提议，令人印象深刻的标题是模仿电影《沉默的羔羊》。这个想法是：当你进入一个新的环境，你有权知道每一个监控你的传感器，并有选择地打开或关闭它。这听起来可能是极端的，但它确实显示了布尔（ON或者OFF）的思维，在今天的隐私讨论中占据主导地位。然而，未来的物联网隐私权的讨论可能会更加微妙——尤其是当隐私、保险和区块链一起考虑时。

根据AT Kearney 的情况，物联网已经被保险公司视为一个重要的机会。像伦敦劳埃德这样的组织也希望通过在市区引入传感器（无人机）驱动的新技术来处理大规模的系统性风险。IBM认为将区块链引入IoT可以创造其他的可能性：

“将区块链概念应用于物联网世界会带来迷人的可能性，在产品完成最终组装的时候，它可以由制造商为其注册代表其生命开始的通用区块链。一旦出售，经销商或最终客户可将其注册到地区性连锁店（社区、城市或省份）”。

9、 AI：机器互相教学（云机器人学：Cloud robotics）

我们前面提到深度学习算法在IoT分析中起着重要的作用，因为机器数据是稀疏的和有时间属性的，设备在不同的条件下可能表现不同，因此在数据预处理或算法训练阶段抓住所有可能场景是有困难的。深度学习算法可以通过使算法自己学习来帮助减轻这些风险，这种机器针对自身的学习的概念可以扩展到机器对机器的学习上，这个想法不是那么牵强。

考虑一下世界最大的工业机器人制造商Fanuc，Fanuc机器人通过观察和强化学习可以在一夜之间教自己完成任务。Fanuc的机器人使用强化学习来训练自己，在大约八小时后或者它的准确率达到90%及以上是，它的效果几乎就与专家编程效果是一样的。如果几个机器人并行工作，然后分享他们所学的知识，这个过程就可以加速，这种形式的分布式学习被称为云机器人。

10、面向企业的物联网与人工智能

我们可以把“机器教其他机器”的概念更广泛地扩展到企业内部，企业正在获得一个“人工智能层”。企业中的任何实体都可以训练企业中的其他“同类”实体。这可以是从其他建筑物学习建筑——或者飞机，石油钻机，甚至打印机！训练可以是动态的和持续的（例如，一个建筑物学习的能量消耗模式可以教给下一个建筑物）。物联网是企业物联网系统的关键数据源，目前这种方法最好的例子是Salesforce.com and Einstein，强化学习是驱动企业物联网和人工智能层的关键技术。

截至2016年底，世界上按收入排名100大企业软件公司中，超过80的将把认知技术整合到他们的产品中（来源德勤）。

远离AI Winter，我们似乎突然进入了一个人工智能的春天。在这个AI春天，IoT突然有了一个明确的商业模式。

结论

从上述讨论中，我们看到物联网的数据科学与传统数据科学既有许多相似之处，也有重大差异（例如在硬件和无线电网络的使用）。但对我们来说，最令人兴奋的是物联网的发展激发了新的绿色领域发展，如无人机、自动驾驶汽车、企业AI、云机器人等。

参考资料：https://www.kdnuggets.com/2016/09/data-science-iot-10-differences.html

IoT数据科学与传统数据科学的10个差异相关推荐

云数据中心与传统数据中心
云数据中心是一种基于云计算架构的,计算.存储及网络资源松耦合,完全虚拟化各种IT设备.模块化程度较高.自动化程度较高.具备较高绿色节能程度的新型数据中心. 云数据中心的特点高度的虚拟化,这其中包括服 ...
大数据概述：传统数据与大数据的区别
传统数据处理介绍数据来源: 1.企业内部管理系统 ,如员工考勤(打卡)记录. 2.客户管理系统(CRM) 数据特征: 1.数据增长速度比较缓慢,种类单一. 2.数据量为GB级别,数据量较小. 数据处 ...
大数据应用｜大数据给社会学研究带来了什么挑战？
本文转载自公众号量化研究方法文献来源:[实证社会科学]第六卷编者按:这篇文章是根据邱泽奇教授在北京大学社会学系的一个讲座整理而成.为了缩短篇幅,在整理中删除了重复的.缺乏信息的内容. 今天跟大家分 ...
大数据导论三——大数据技术
大数据技术层面及其功能数据采集和预处理(功能) 利用ETL工具将分布的数据,抽取到临时中间层后进行处理,最后加载到数据仓库中,成为联机分析处理.数据挖掘的基础: 利用日志采集工具把实时采集的数据作为 ...
个人理解数据中台与大数据平台区别
个人理解数据中台与大数据平台区别概念介绍本文主要介绍如下几个数据概念: 数据库数据库是"按照数据结构来组织.存储和管理数据的仓库".是一个长期存储在计算机内的.有组织的.有共 ...
数据中心怎么建更科学
从发达国家经验看,数据中心建设与布局往往与当地优势产业和特色资源相结合.专家建议,一方面,政府要通过制度创新和规则完善,做好顶层设计:另一方面,要以市场需求为导向,催生更广泛的应用场景.此外,政府还应 ...
web数据交互_通过体育运动使用定制的交互式Web应用程序数据科学探索任何数据...
web数据交互 Most good data projects start with the analyst doing something to get a feel for the data th ...
开放科学背景下的科学数据开放共享：国家青藏高原科学数据中心的实践
开放科学背景下的科学数据开放共享:国家青藏高原科学数据中心的实践潘小多1,2, 李新1,2, 冉有华3, 郭学军2 1 中国科学院青藏高原研究所国家青藏高原科学数据中心,北京 100101 2 中国 ...
推荐：数据科学与大数据技术专业特色课程研究
在我国,数据科学与大数据技术专业的建设已成为新的热点话题.在系统调研世界一流大学数据科学专业建设现状的基础上,从特色课程视角重点分析加州大学伯克利分校.约翰·霍普金斯大学.华盛顿大学.纽约大学.斯坦福 ...
原创 | 2020年数据科学与大数据技术专业填报指南（附院校及专业介绍）
高考结束,同学们还没过上几天开心到劈叉的日子,就要面临一个直击灵魂的问题:你想好报什么专业了吗?这些年,在大数据和人工智能的背景下,企业对数据科学家的需求正在持续增长.在人才需求巨大的缺口下,从 20 ...

IoT数据科学与传统数据科学的10个差异

IoT数据科学与传统数据科学的10个差异相关推荐

最新文章

热门文章