学习目标：

大数据技术原理与应用

学习内容：

大数据概述

1.1大数据时代
1.2大数据的概念和影响
1.3大数据的应用
1.4大数据的关键技术
1.5大数据与云计算、物联网的关系

学习时间：

2022/03/10

学习产出：

1.1大数据时代

信息化浪潮
信息化浪潮/发生时间/标志/解决问题/代表企业
第一次/1980年前后/个人计算机/信息处理/Inter\IBM\苹果\微软
第二次/1995年前后/互联网/信息传输/ 雅虎\谷歌\阿里巴巴\百度
第三次/2010年前后/物联网、云计算和大数据/信息爆炸/新的市场标杆企业
技术支撑：
1　存储——存储设备容量不断增加
2　CPU——处理能力大幅度提升
3　网络带宽不断增加
阶段
１　第一阶段　运营式系统阶段
２　第二阶段　用户原创内容阶段
３　第三阶段　感知式系统阶段（物联网的迅速普及）
大数据的发展历程
时间　　　　　　　　　　　　　　　　　　　　　　阶段
上世纪90年代至上世界末期　　　　　　　　　　　萌芽期
本世纪前十年　　　　　　　　　　　　　　　　　成熟期
2010年以后　　　　　　　　　　　　　　　　　　大规模应用期

1.2大数据的概念和影响

4V：快速化/多样化/价值密度低/大量化
大数据是有结构化数据和非结构化数据构成
影响：
（１）全样而非抽样
（２）效率而非精确
（３）相关而非因果

1.3大数据的应用
（１）业务流程优化
（２）理解满足客户需求
（３）金融交易
（４）实时掌控交通情况改善日常生活
（５）研发智能汽车、医疗方面

案例：美国传统流感预测、影视投资等等

1.4大数据关键技术

大数据技术层次：
（１）数据采集
（２）数据存储与管理
（３）数据处理与分析
（４）数据隐私与安全
两大核心技术：
（１）分布式存储
（２）分布式处理
大数据典型的计算模式：
批处理计算（针对大规模数据的批量计算，代表产品：MapReduce/Spark）、流计算（针对流数据的实时计算，代表产品：Strom/S4/Flume/银河流）、图计算（针对大规模图结构数据的处理，代表产品：Pregel/GraphX/PowerGraph/Hama）、查询分析计算（大规模数据的存储管理和查询分析，代表产品：Dremel/Hive/Impala等）

1.５大数据与云计算、物联网的关系

1.5.1云计算
解决两个核心问题：分布式存储、分布式计算
典型特征：虚拟化、多租户
定义概念：通过网络以服务的方式为用户提供非常廉价的IT资源
优势：不需要自建IT基础设施
三种云服务：IaaS——基础设施即服务， PaaS——平台即服务，SaaS——软件即服务
云计算关键技术：
虚拟化（Hadoop/Linux/虚拟机/Win/硬件）、分布式存储、分布式计算、多租户（同时为多个用户服务）
云计算典型应用：政务云、教育云、医疗云、中小企业云
1.5.2物联网
定义概念：物物相连的互联网，是互联网的延伸。
层次架构：
感知层（导航定位、摄像头、传感器等等）、网络层（电信网、互联网、广电网、专用网等等）、处理层（服务支撑平台、网络管理平台、信息处理平台、信息安全平台）、应用层（智能交通、智能家具、智慧医疗等等）
典型的物联网应用：掌上智能公交、智慧城市
物联网关键技术：识别技术、感知技术（RFID）
物联网的应用：智能工业、智能交通、健康医疗、智能家居、环保监测、智能安防、智慧农业等等
总结：
云计算为大数据提供技术基础，大数据为云计算提供用武之地；
云计算为物联网提供海量数据存储能力，物联网为云计算技术提供了广阔的应用空间；
物联网是大数据的重要来源，大数据技术为物联网数据分析提供支撑；

关于大数据技术原理与应用的学习（１）相关推荐

关于大数据技术原理与应用的学习（6）
学习目标: 大数据技术原理与应用学习内容: 6云数据库 6.1概述 6.2产品 6.3UMP系统 6.4Amazon云数据库 6.5微软云数据库SQL Azure 学习时间: 2022/03/31 ...
关于大数据技术原理与应用的学习（4）
学习目标: 大数据技术原理与应用学习内容: 分布式数据库HBase 4.1HBase简介 4.2HBase数据模型 4.3HBase实现原理 4.4HBase运行机制 4.5HBase应用方案 4. ...
关于大数据技术原理与应用的学习（3）
学习目标: 大数据技术原理与应用学习内容: 分布式文件系统HDFS 3.1HDFS简介 3.2HDFS相关概念 3.3HTFS体系结构 3.4HTFS存储元原理 3.5HDFS数据读写 3.6HDF ...
关于大数据技术原理与应用的学习（5）
学习目标: 大数据技术原理与应用学习内容: 5.NoSQL数据库例如: 5.1NoSQL数据库 5.2与关系数据库的比较 5.3四大类型 5.4理论基石 5.5从NoSQL到NewSQL 5.6文 ...
[渝粤教育] 厦门大学大数据技术原理与应用参考资料
教育 -大数据技术原理与应用-章节资料考试资料-厦门大学[] 第1章大数据概述单元测验 1.[单选题]第三次信息化浪潮的标志是: A.个人电脑的普及 B.互联网的普及 C.云计算.大数据.物联网技 ...
大数据技术原理与应用课后题（林子雨）
大数据技术原理与应用(林子雨) 第1章大数据概述 1单选(2分) 第三次信息化浪潮的标志是: A.个人电脑的普及 B.云计算.大数据.物联网技术的普及 C.虚拟现实技术的普及 D.互联网的普及正确 ...
大数据技术原理与应用第一篇大数据基础
目录第一章大数据概述一. 大数据时代 1.1 三次信息化浪潮 1.2 信息科技发展 1.3 数据产生方式的变革 1.4 大数据的影响二. 大数据的概念 2.1 大数据的特征 2.2 大数据关键 ...
大数据技术原理与应用—课后题答案（第一章）
大数据技术原理与应用_林子雨版_课后题答案(第一章) 1.试述信息技术发展史上的3次信息化浪潮及具体内容. 信息化浪潮发生时间标志解决问题 ...
《大数据技术原理与应用》（第八章Hadoop 课后答案）
第八章 Hadoop再探讨参考资料 1.林子雨_大数据技术原理与应用课后习题_NPU_阿夏的博客-CSDN博客 2.林子雨编著<大数据技术原理与应用(第3版)>教材官网_厦门大学数据库实 ...

关于大数据技术原理与应用的学习（１）

学习目标：

学习内容：

学习时间：

学习产出：

关于大数据技术原理与应用的学习（１）相关推荐

最新文章

热门文章