1 大数据和云计算的关系

G=f(x)G=f(x)G=f(x) GGG是目标，fff是云计算，xxx是大数据。
云计算是处理大数据的手段。

2 云计算的技术

虚拟化、分布式计算、并行计算、效用计算

3 云计算的优势

与计算易于部署，方便维护，而且拓展起来也很快。

4 云服务类型

类型	服务内容
IaaS	基础资源封装成服务
PaaS	云平台服务
SaaS	云应用服务

5 GFS/HDFS的架构模式

HDFS采用master/slave体系，master运行NameNode，slave运行DateNode

客户端 ⇌ 中心服务器（NameNode）⇌ 数据块服务器（DateNode）

6 大数据处理过程

对原始数据进行分割，得到数据块
对每一个数据分块都运行一个Map进行处理
对Map得到的中间结果启动Reduce，输出最终结果的键值对

7 MapReduce编程结构

Map表示映射

(in_key, in_value) -> Map -> (key, value)

Reduce表示归约

(key, list[value]) -> Reduce -> (key,final_value)

8 VPC的概念

VPC是虚拟私有云服务，企业通过安全网络信道连接到云服务商的产品。

9 Hadoop的部署方式

部署方式	用途
单机	函数调试
伪分布式	模拟调试
分布式	实际使用

10 Yarn的作用

Yarn是分布式操作系统，作用有资源管理和任务调度。

11 Hadoop组件

组件	功能
Hbase	分布式数据库（结构为行键、列键、列组）
Hive	数据仓库（将sql语句转换为MapReduce任务进行运行）
Pig	脚本语言平台

12 网络存储模式

模式	特点
NAS	使用局域网作为传输通道
FC-SAN	使用光纤作为专用数据传输网络

大数据和云计算知识点汇总相关推荐

大数据、云计算该如何学习？
大数据之Linux+大数据开发篇 [大数据开发学习资料领取方式]:加入大数据技术学习交流群458345782,点击加入群聊,私信管理员即可免费领取阶段一.大数据.云计算 - Hadoop大数据开发技 ...
大数据、云计算系统高级架构师课程学习路线图
大数据之Linux+大数据开发篇大数据的前景和意义也就不言而喻了,未来,大数据能够对大量.动态.能持续的数据,通过运用新系统.新工具.新模型的挖掘,从而获得具有洞察力和新价值的东西.源于互联网的发 ...
云计算和python学哪个_大数据、云计算该如何学习？
大数据之Linux+大数据开发篇阶段一.大数据.云计算 - Hadoop大数据开发技术课程一.大数据运维之Linux基础本部分是基础课程,帮大家进入大数据领域打好Linux基础,以便更好地学习H ...
大数据、云计算系统顶级架构师课程学习路线图
大数据之Linux+大数据开发篇 Java Linux基础 Shell编程 Hadoop2.x HDFS YARN MapReduce ETL数据清洗Hive Sqoop Flume/Oozie 大数 ...
大数据面临的挑战：当大数据遭遇云计算
本文讲的是大数据面临的挑战:当大数据遭遇云计算,大数据正在彻底改变IT世界.那么,什么样的数据谈得上数据呢? 根据IDC的报告,未来十年全球大数据将增加50倍.仅在2011年,我们就将看到1.8ZB( ...
a人工智能b大数据c云计算_你清楚5G物联网、大数据、云计算、人工智能之间的关联吗？...
同属于高新技术发展领域的物联网.大数据.云计算.人工智能之间有着割舍不开的联系,成其一都离不开其他技术的支撑辅佐,特别是落地应用的时候,在不同的场景中,这个几个技术之间不同的方式配合,成就了现如今的高 ...
大数据和云计算技术周报（第101期)
导语 "大数据" 三个字其实是个marketing语言,从技术角度看,包含范围很广,计算.存储.网络都涉及,知识点广.学习难度高. 本期会给大家奉献上精彩的:Spring熔断降级方 ...
大数据与云计算技术周报（第150期)
导语 "大数据" 三个字其实是个marketing语言,从技术角度看,包含范围很广,计算.存储.网络都涉及,知识点广.学习难度高. 本期会给大家奉献上精彩的:hiva.Flink. ...
大数据与云计算技术周报（第148期)
导语 "大数据" 三个字其实是个marketing语言,从技术角度看,包含范围很广,计算.存储.网络都涉及,知识点广.学习难度高. 本期会给大家奉献上精彩的:实时数据.ELK.re ...

大数据和云计算知识点汇总

大数据和云计算