学习总结

hadoop由两大块组成：hadoop自身+hadoop生态
hadoop管理的是文件，也就是相当于一个windows的文件资源管理器，文件可以是任意文件格式

hadoop的核心组件

hadoop的核心组件有hdfs,yarn,mapreduce

hdfs是由两部分构成NameNode：节点目录，DataNode：数据保存节点，NameNode数量可以少于DataNode

yarn是资源管理模块由两部分构成RouceManger：总的资源管理器,NodeManager：接收总的资源管理器调度的子资源管理器

mapredue是一个离线计算工具，用来指挥yarn做计算调度的

hadoop生态

数据存储扩展:hbase,kafa,flume

数据计算查询：hive,spark

任务调度:Ozie

hadoop版本

一、Hadoop 版本主要有四个，分别是：

Apache（最原始的版本，所有发行版均基于这个版本进行改进）

Cloudera版本（Cloudera’s Distribution Including Apache Hadoop，简称CDH）

Hortonworks版本(Hortonworks Data Platform，简称HDP）

CDP(CDH和HDP合并后的产品，是付费的没有免费版)

对于国内而言，绝大多数选择 CDH 版本，集成部署更加方便和易于管理

6.hadoop文件数据库系列讲解相关推荐

mysql 导出dmp文件_MySQL数据库基础讲解
# 简介 MySQL是一种开放源代码的关系型数据库管理系统(RDBMS),使用最常用的数据库管理语言(SQL)进行数据库管理. MySQL是开放源代码的,因此任何人都可以在General Publi ...
AutoSAR系列讲解（入门篇）5.2-描述文件
AutoSAR系列讲解(入门篇)5.2-描述文件描述文件一.主要流程二.各描述文件介绍 1.SWC描述文件 2.系统约束描述文件 3.ECU资源描述文件 4.系统配置描述文件 5.ECU提取文件 ...
「Python爬虫系列讲解」七、基于数据库存储的 BeautifulSoup 招聘爬取
本专栏是以杨秀璋老师爬虫著作<Python网络数据爬取及分析「从入门到精通」>为主线.个人学习理解为主要内容,以学习笔记形式编写的. 本专栏不光是自己的一个学习分享,也希望能给您普及一些关 ...
AutoSAR系列讲解（入门篇）5.3-ECUEX文件
AutoSAR系列讲解(入门篇)5.3-ECUEX文件 ECUEX文件一.ECUEX简介二.ECUEX内容涵盖等级 1.等级1:目前普遍状态 2.等级2:进阶状态 3.等级3:终极状态 ECUEX ...
「Python爬虫系列讲解」十二、基于图片爬取的 Selenium 爬虫
本专栏是以杨秀璋老师爬虫著作<Python网络数据爬取及分析「从入门到精通」>为主线.个人学习理解为主要内容,以学习笔记形式编写的. 本专栏不光是自己的一个学习分享,也希望能给您普及一些关 ...
「Python爬虫系列讲解」十四、基于开发者工具 Network 的数据抓包技术
本专栏是以杨秀璋老师爬虫著作<Python网络数据爬取及分析「从入门到精通」>为主线.个人学习理解为主要内容,以学习笔记形式编写的. 本专栏不光是自己的一个学习分享,也希望能给您普及一些关 ...
Hadoop HDFS概念学习系列之熟练掌握HDFS的Shell访问（十五）
调用文件系统(FS)Shell命令应使用 $HADOOP_HOME/bin/hadoop fs *** 的形式!!! 所有的FS Shell命令使用URI路径作为参数. URI格式是scheme:/ ...
.NET平台开源项目速览(3)小巧轻量级NoSQL文件数据库LiteDB
今天给大家介绍一个不错的小巧轻量级的NoSQL文件数据库LiteDB.本博客在2013年也介绍过2款.NET平台的开源数据库: 1.[原创]开源.NET下的XML数据库介绍及入门 2.[原创]C#开源 ...
Yocto系列讲解[入门篇] 1 - 快速入门熟悉Yocto的构建
By: fulinux E-mail: fulinux@sina.com Blog: https://blog.csdn.net/fulinus 喜欢的盆友欢迎点赞和订阅! 你的喜欢就是我写作的动力! ...

6.hadoop文件数据库系列讲解

学习总结

hadoop的核心组件

hadoop生态

hadoop版本

6.hadoop文件数据库系列讲解相关推荐

最新文章

热门文章