大数据、云计算、物联网相关技术概述——《大数据技术原理与应用》课程学习总结

在学习大数、云计算以及物联网相关概念之前，先了解一下大数据的背景吧

1.1 大数据时代

1.1.1 第三次信息化浪潮

三次信息化浪潮：

信息化浪潮	发生时间	标志	解决问题	代表企业
第一次信息化浪潮	1980 年前后	个人计算机	信息处理	Intel、AMD、IBM、苹果、联想、戴尔、惠普等
第二次信息化浪潮	1995 年前后	互联网	信息传输	雅虎、谷歌、阿里巴巴、百度、腾讯等
第三次信息化浪潮	2010 年前后	物联网、云计算和大数据	信息爆炸	亚马逊、哥哥、IBM、VMWare、Palantir、Hortonworks、Cloudera、阿里云等

1.1.2 信息科技为大数据时代提供技术支撑

信息科技需要解决信息存储、信息传输和信息处理 3 个核心问题，人类社会在信息科技领域的不断进步为大数据时代的到来提供了技术支撑。

存储设备容量不断增加
CPU 处理能力大幅度提升
网络带宽不断增加

数据产生方法的变革促成大数据时代的来临

数据产生方法的变革，是促进大数据时代来临的重要因素。总体而言，人类社会的数据产生方式大致经历了 3 个阶段：运营式系统阶段、用户原创内容阶段和感知式系统阶段。

运营式系统阶段

数据库的诞生是一重要标志。在这一阶段，数据的产生方式是被动的，只有当实际的企业业务发生时，才会产生新的记录并存入数据库。

用户原创内容阶段

互联网真正的数据爆发产生于以“用户原创内容”为特征的 Web 2.0 时代。Web 2.0 技术以 Wiki、博客、微博、微信等自服务模式为主，增强自服务，大量用户本身就是内容的生成者，尤其是随着移动互联网和智能手机终端的普及，人们更是可以随时随地使用手机发微博、上传照片，数据量急剧增加。

感知式系统阶段

物联网的发展最终导致了人类社会数据量的第三次跃升。物联网包含大量传感器以及视频监控摄像头。这些设备，每时每刻都在自动产生大量数据，与 Web 2.0 时代的人工数据产生方式相比，物联网中的自动数据产生方式，将在段时间内生成更密集、更大量数据，是得人类社会迅速步入“大数据时代”。

1.1.4 大数据的发展历程

大数据的法阵历程总体上可以划分为 3 个重要阶段：

阶段	时间	内容
第一阶段：萌芽期	20 世纪 90 年代至 21 世纪初	随着数据挖掘理论和数据库技术的逐步成熟，一批商业智能工具和知识管理技术开始被应用，如数据仓库、专家系统、知识管理系统等
第二阶段：成熟期	21 世纪前 10 年	Web 2.0 应用迅猛发展，非结构化数据大量出现，传统处理方法难以应对，带动了大数据技术的快速突破，大数据解决方法逐渐走向成熟，形成了并行计算与分布式系统两大核心技术，谷歌的 GFS 和 MapReduce 等大数据技术受到追捧，Hadoop 平台大行其道。
第三阶段：大规模应用期	2010 年以后	大数据应用渗透各行各业，数据驱动决策，信息社会智能化程度大幅度提高

1.2 大数据概念

大数据的 4 个特点，包含 4 个层面：数量大（Volume）、数据类型繁多（Variety）、处理速度快（Velocity）和价值密度低（Value）。

1.2.1 数据量大

随着 Web 2.0 和移动互联网的快速发展，以及物联网的推广和普及，人类社会正经历着第二次“数据大爆炸”。各种数据产生速度之快，产生数量之大，已经远远超出人类可以控制的范围，“数据爆炸”成为大数据时代的鲜明特征。

1.2.2 数据类型繁多

大数据的数据类型丰富，包括结构化数据和非结构化数据。前者占 10% 左右，主要是指存储在关系数据库中的数据；后者占 90% 左右，种类繁多，主要包括邮件、音频、视频、微信、微博等各种网络信息。

1.2.3 处理速度快

大数据时代的许多应用都需要基于快速生成的数据给出实时分析结果，用于指导生产和生活实践。因此，数据处理和分析的速度通常需要达到秒级响应。

为了数显快速分析海量数据的目的，新兴的大数据分析技术通常采用集群处理和独特的内部设计。如谷歌公司的 Dremel。

1.2.4 价值密度低

在大数据时代，许多有用信息都是分散在海量数据中的。例如小区的监控视频，只有在发生偷窃等意外事件时，某一段视频才是有价值的，其余产生的数据都是没有价值的。

1.3 大数据的影响

1.3.1 大数据对科学研究的影响

大数据使得人类科学研究迎来了第四种范式——数据

第一种范式：实验科学
第二种范式：理论科学
第三种范式：计算科学
第四种范式：数据密集型科学

虽然第三种范式和第四种范式都是利用计算机进行计算，但是二者还有有本质区别的。在第三种研究范式中，一般是先提出可能的理论，再搜集数据，然后通过计算来验证。而对于第四种研究范式，则是现有了大量已知的数据，然后通过计算得出之前未有的理论。

1.3.2 大数据对思维方式的影响

全样而非抽样
效率而非精确
相关而非因果

1.3.3 大数据对社会发展的影响

大数据决策成为一种新的决策方式
大数据应用促进信息技术与各行业的深度融合
大数据开发推动新技术的新应用的不断涌现

1.3.4 大数据对就业市场的影响

大数据的兴起使得数据科学家成为热门人才。从2010年以后，数据科学家逐渐发展成为市场上最热门的职业之一，具有广阔发展前景，并代表这未来的发展方向。

1.3.5 大数据对人才培养的影响

大数据的兴起在很大程度上改变中国高校信息技术相关专业的现有教学和科研体制。

1.5 大数据关键技术

所谓大数据技术，是指伴随着大数据的采集、存储、分析和应用的相关技术，是一系列使用非传统的工具对大量的结构化、半结构化和非结构化数据进行处理，从而获得分析和预测结果的一系列数据处理和分析技术。

大数据的基本处理流程，主要包括数据采集、存储、分析和结果呈现等环节。

从数据分析全流程的角度，大数据技术主要包括数据采集与预处理、数据存储和管理、数据处理与分析、数据安全和隐私保护等几个层面的内容。

1.6 大数据计算模式

大数据计算模式及其代表产品：

大数据计算模式	解决问题	代表产品
批处理计算	针对大规模数据的批量处理	MapReduce、Spark 等
流计算	针对流数据的实时计算	Storm、S4、Flume、Puma、DStream、SuperMario、银河流数据处理平台等
图计算	针对大规模图结构数据的处理	Pregel、GraphX、Giraph、PowerGraph、Hama、GoldenOrb 等
查询分析计算	大规模数据的存储管理和查询分析	Dremel、Hive、Cassandra、Impala 等

1.8 大数据与云计算、物联网

1.8.1 云计算

1. 云计算的概念

云计算代表了以虚拟化技术为核心、以低成本为目标、动态可扩展的网络应用基础设施，是近年来最有代表性的网络计算技术与模式。

云计算包括 3 种天性的服务模式： IaaS（基础设施即服务）、PaaS（平台即服务）和 SaaS（软件即服务）。IaaS 将基础设施（计算资源和存储）作为服务出租，PaaS 把平台作为服务出租。SaaS 把软件作为服务出租。

云计算包括公有云、私有云和混合云 3 种类型。

2. 云计算的关键技术

云计算的关键技术包括虚拟化、分布数存储、分布式计算、多租户等。

3. 云计算数据中心

云计算数据中心是一整套复杂的设施，包括刀片服务器、宽带网络连接、环境控制设备、监控设备以及各种安全装置等。数据中心是云计算的重要载体，为云计算提供计算、存储、带宽等各种硬件资源，为各种平台和应用提供运行支撑环境。

1.8.2 物联网

1. 物联网的概念

物联网是物物相连的互联网，是互联网的延伸，它利用局部网络或互联网等通信技术把传感器、控制器、机器、人员和物等通过新的方式连在一起，形成人与物、物与物相连，实现信息化和远程管理控制。

从技术架构上来看，物联网课分为四层：感知层、网络层、处理层和应用层。

2. 物联网关键技术

物联网的关键技术包括识别和感知技术（二维码、RFID、传感器等）、网络与通信技术、数据挖掘与融合技术。

大数据与云计算、物联网的关系

三者的区别：

大数据侧重于对海量数据的存储、处理与分析，从海量数据中发现价值，服务于生产和生活；
云计算的本质上旨在整合和优化各种 IT 资源，并通过网络服务的方式廉价地提供给用户
物联网的发展目标是实现物物相连，应用创新是物联网发展的核心。

三者的联系：

云计算为大数据提供了技术基础，大数据为云计算提供用武之地；
物联网是大数据的重要来源，大数据技术为物联网数据分析提供支撑；
云计算为物联网提供海量数据存储能力，物联网为云计算技术提供了广阔的应用空间。