2021-09-07Hadoop运行模式：

2、Hadoop运行模式：
单机版：无需任何守护进程，所有的程序都运行在同一个JVM上执行。在独立模式下调试MR程序非常高效方便。所以一般该模式主要是在学习或者开发阶段调试使用。
伪分布式模式：Hadoop守护进程运行在本地机器上，模拟一个小规模的集群，换句话说，可以配置一台机器的Hadoop集群,伪分布式是完全分布式的一个特例。
完全分布式模式：Hadoop守护进程运行在一个集群上。

3、Hadoop生态圈的组件并做简要描述
1）Zookeeper：是一个开源的分布式应用程序协调服务,基于zookeeper可以实现同步服务，配置维护，命名服务。
2）Flume：一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。
3）Hbase：是一个分布式的、面向列的开源数据库, 利用Hadoop HDFS作为其存储系统。
4）Hive：基于Hadoop的一个数据仓库工具，可以将结构化的数据档映射为一张数据库表，并提供简单的sql 查询功能，可以将sql语句转换为MapReduce任务进行运行。
5）Sqoop：将一个关系型数据库中的数据导进到Hadoop的 HDFS中，也可以将HDFS的数据导进到关系型数据库中。

4、解释“hadoop”和“hadoop 生态系统”两个概念
Hadoop是指Hadoop框架本身；hadoop生态系统，不仅包含hadoop，还包括保证hadoop框架正常高效运行其他框架，比如zookeeper、Flume、Hbase、Hive、Sqoop等辅助框架。

5、请列出正常工作的Hadoop集群中Hadoop都分别需要启动哪些进程，它们的作用分别是什么?
1）NameNode：它是hadoop中的主服务器，管理文件系统名称空间和对集群中存储的文件的访问，保存有metadate。
2）SecondaryNameNode：它不是namenode的冗余守护进程，而是提供周期检查点和清理任务。帮助NN合并editslog，减少NN启动时间。
3）DataNode：它负责管理连接到节点的存储（一个集群中可以有多个节点）。每个存储数据的节点运行一个datanode守护进程。
4）ResourceManager（JobTracker）：JobTracker负责调度DataNode上的工作。每个DataNode有一个TaskTracker，它们执行实际工作。
5）NodeManager：（TaskTracker）执行任务
6）DFSZKFailoverController：高可用时它负责监控NN的状态，并及时的把状态信息写入ZK。它通过一个独立线程周期性的调用NN上的一个特定接口来获取NN的健康状态。FC也有选择谁作为Active NN的权利，因为最多只有两个节点，目前选择策略还比较简单（先到先得，轮换）。
7）JournalNode：高可用情况下存放namenode的editlog文件.

6、 HDFS 中的 block 默认保存几份？
默认保存3份

7、HDFS 默认 BlockSize 是多大？
从Hadoop 2.x 开始，默认128MB。

8、负责HDFS数据存储的是哪一部分？
DataNode负责数据存储

9、SecondaryNameNode的目的是什么？
它的目的使帮助NameNode合并编辑日志，减少NameNode 启动时间

10、文件大小设置，增大有什么影响？
HDFS中的文件在物理上是分块存储（block），块的大小可以通过配置参数( dfs.blocksize)来规定，默认大小在hadoop2.x版本中是128M，老版本中是64M。
思考：为什么块的大小不能设置的太小，也不能设置的太大？
HDFS的块比磁盘的块大，其目的是为了最小化寻址开销。如果块设置得足够大，从磁盘传输数据的时间会明显大于定位这个块开始位置所需的时间。因而，传输一个由多个块组成的文件的时间取决于磁盘传输速率。
如果寻址时间约为10ms，而传输速率为100MB/s，为了使寻址时间仅占传输时间的1%，我们要将块大小设置约为100MB。默认的块大小128MB。

11、hadoop的块大小，从哪个版本开始是128M？
Hadoop1.x都是64M，hadoop2.x开始都是128M。

12、HDFS的存储机制（☆☆☆☆☆）
HDFS存储机制，包括HDFS的写入数据过程和读取数据过程两部分
HDFS写数据过程

2021-09-07Hadoop运行模式：相关推荐

2021年大数据Spark（四）：三种常见的运行模式
目录 Spark 运行模式一.本地模式:Local Mode 二.集群模式:Cluster Mode 三.云服务:Kubernetes 模式 Spark 运行模式 Spark 框架编 ...
橘子CPS联盟操作手册2021.09
橘子CPS联盟操作手册2021.09 目录橘子CPS联盟操作手册2021.09 橘子CPS联盟是干嘛的橘子CPS基本操作流程 PC端操作 1.注册 2.登陆 3.渠道管理 4.分享网站 5.分享网 ...
Storm的本地运行模式示例
以word count为例,本地化运行模式(不需要安装zookeeper.storm集群),maven工程, pom.xml文件如下: <project xmlns="http://m ...
ASP.NET运行模式
自从去年闲置了一段时间以后,很久没有写技术性的内容了,今天早上没事情,就整理了一些东西.先画了一个ASP.NET运行模式的图放上来,或许对某些人有用.如果哪里有不确切的,请各位看官帮忙指出. 转自:h ...
20200903-03-Hadoop运行模式之本地运行模式伪分布式运行模式
准备工作: 1.一台Linux机器[windows也支持,参考:https://cwiki.apache.org/confluence/display/HADOOP2/Hadoop2OnWindows ...
Nutch 分布式运行模式 (v1.14)
Nutch 1.x 是成熟的产品级 web 爬虫,这个分支通过精细的优化配制,充分利用了具有非常强大的批处理能力的Apache Hadoop数据结构.目前该分支最新版本是 2017 年12月23日发布 ...
[ hadoop ] hadoop入门 : 组成架构.环境搭建.运行模式
1 大数据概论概念: 指无法在一定时间范围内用常规软件工具进行捕捉.管理和处理的数据集合,是需要新处理模式才能具有更强的决策力.洞察发现力和流程优化能力的海量.高增长率和多样化的信息资产. 需求: ...
三、Hadoop运行模式（本地模式、伪分布模式）
上篇博客介绍了Linux下搭建Hadoop运行环境,本篇主要介绍Hadoop的本地运行模式和伪分布式模式,关注专栏<破茧成蝶--大数据篇>查看相关系列的文章~ 目录一.本地模式 1.1 ...
Hadoop运行模式之伪分布式运行模式
什么是伪分布式模式?它与本地运行模式以及完全分布式模式有什么区别? 伪分布式的配置信息,完全是按照完全分布式的模式去搭建的,但是它只有一台服务器,可以用于学习和测试,真正的开发中不可以使用. 目录一 ...
Hadoop运行模式之本地运行模式
Hadoop的运行模式包括:本地模式.伪分布式模式以及完全分布式模式 Hadoop官网地址:https://hadoop.apache.org/ 本次使用的Hadoop的版本是2.7.2 官网文档:h ...

2021-09-07Hadoop运行模式：

2021-09-07Hadoop运行模式：相关推荐

最新文章

热门文章