大数据概念

大数据时代：

信息化浪潮	发生时间	标志	解决问题
第一次浪潮	1980年前后	个人电脑	信息处理
第二次浪潮	1995年前后	互联网	信息传输
第三次浪潮	2010年前后	物联网，云计算，大数据	信息爆炸

信息化浪潮的技术支持：存储技术，计算技术，网络技术

数据产生方式：

第一阶段：运营式系统阶段

第二阶段：用户原创内容阶段(博客，微信，自媒体)

第三阶段：感知式系统阶段(监控，传感器等)

大数据特性(4V)：

volume大量化，velocity快速化，variety多样化，value价值密度低

大数据技术

大数据技术的层次：

数据采集

数据存储与管理(核心层)

数据处理与分析(核心层)

数据隐私与安全

数据存储与管理和数据处理与分析是大数据的两大核心，两的核心又两大核心技术，分别是分布式存储和分布式处理。

分布式存储：解决海量数据的存储问题

分布式处理：解决海量数据的处理问题

大数据典型的计算模式：

计算模式	解决问题	代表产品
批处理计算	针对大规模数据的批处理计算	MapReduce，Spark等
流计算	针对数据的实时计算	Storm，S4，Flum，Stream，Puma，DStream，Super Mario等
图计算	针对大规模图结构数据的处理	Pregel，Graphx,Giraph,PowerGraph,Hama,GoldenOrb等
查询分析计算	大规模数据的存储管理和存储分析	Dremel,Hive,Cassandra,Impala等

云计算

云计算的概念：通过网络以服务的方式为用户提供非常廉价的IT资源

云计算的三种模式：公有云(面向大众)，私有云(企业内部)，混合云(部分给自己，部分给外面)

三种云服务：

1.IaaS-基础设施即服务：

将基础设施(计算资源和存储)作为服务出租

2.PaaS-平台即服务

向开发者提供开发平台

3.SaaS-软件即服务

在云端提供软件服务

云计算的关键技术：虚拟化，分布式存储，分布式计算，多租户

物联网

物联网概念：物物相连的互联网

物联网层次架构：

物联网关键技术：识别技术，感知技术

大数据，云计算，物联网三者关系：

大数据技术原理与应用(1)相关推荐

[渝粤教育] 厦门大学大数据技术原理与应用参考资料
教育 -大数据技术原理与应用-章节资料考试资料-厦门大学[] 第1章大数据概述单元测验 1.[单选题]第三次信息化浪潮的标志是: A.个人电脑的普及 B.互联网的普及 C.云计算.大数据.物联网技 ...
大数据技术原理与应用课后题（林子雨）
大数据技术原理与应用(林子雨) 第1章大数据概述 1单选(2分) 第三次信息化浪潮的标志是: A.个人电脑的普及 B.云计算.大数据.物联网技术的普及 C.虚拟现实技术的普及 D.互联网的普及正确 ...
关于大数据技术原理与应用的学习（6）
学习目标: 大数据技术原理与应用学习内容: 6云数据库 6.1概述 6.2产品 6.3UMP系统 6.4Amazon云数据库 6.5微软云数据库SQL Azure 学习时间: 2022/03/31 ...
大数据技术原理与应用第一篇大数据基础
目录第一章大数据概述一. 大数据时代 1.1 三次信息化浪潮 1.2 信息科技发展 1.3 数据产生方式的变革 1.4 大数据的影响二. 大数据的概念 2.1 大数据的特征 2.2 大数据关键 ...
大数据技术原理与应用—课后题答案（第一章）
大数据技术原理与应用_林子雨版_课后题答案(第一章) 1.试述信息技术发展史上的3次信息化浪潮及具体内容. 信息化浪潮发生时间标志解决问题 ...
《大数据技术原理与应用》（第八章Hadoop 课后答案）
第八章 Hadoop再探讨参考资料 1.林子雨_大数据技术原理与应用课后习题_NPU_阿夏的博客-CSDN博客 2.林子雨编著<大数据技术原理与应用(第3版)>教材官网_厦门大学数据库实 ...
林子雨试卷《大数据技术原理与应用》试题与答案
<大数据技术原理与应用>试题与答案问答题(100分): (问答题,共13道题目,第1题4分,第2题6分,第3题10分,第4题10分,第5题16分,第6题6分,第7题12分,第8题6分,第 ...
大数据技术原理与应用课程建设经验分享
大数据技术原理与应用课程建设经验分享林子雨厦门大学信息科学与技术学院, 福建厦门 361005 摘要:大数据专业人才的培养是世界各国新一轮科技较量的基础,高等院校承担着大数据人才培养的重任 ...
关于大数据技术原理与应用的学习（１）
学习目标: 大数据技术原理与应用学习内容: 大数据概述 1.1大数据时代 1.2大数据的概念和影响 1.3大数据的应用 1.4大数据的关键技术 1.5大数据与云计算.物联网的关系学习时间: 202 ...
大数据技术原理与应用作业四
大数据技术原理与应用作业四 1. 试述在Hadoop体系架构中HBase与其他组成部分的相互关系. HBase利用Hadoop MapReduce来处理HBase中的海量数据,实现高性能计算: 利用Z ...

大数据技术原理与应用(1)

大数据概念

大数据技术

云计算

物联网

大数据技术原理与应用(1)相关推荐

最新文章

热门文章