Hadoop综合试题5

判断题

1.Yarn的默认配置是不允许JVM重用，但用户可以通过配置来允许JVM重用，一个task运行在一个JVM上，开启重用的话，该task在JVM上运行完毕后，JVM继续运行其他task (对)
2.Hadoop集群添加节点有两种方式，一种是静态添加，关闭hadoop集群，配置相应配置，重启集群。另一种是动态添加，不关闭hadoop集群，配置相关配置，刷新节点即可（对）
3.一个集群里可以添加多个ResourceManager，但是只会有一个处于active存活状态，其他的处于standby状态 ( 对 )
4.在整个工作流程当中，ResourceManager和NodeManager都是通过心跳保持联系的（对）
5.DataNode 负责接受客户端发送过来的信息，然后将文件存储信息位置发送给提交请求的客户端，由客户端直接与 DataNode 进行联系，进行部分文件的运算与操作（错）
6.Hadoop的三种运行模式一般指单机模式（本地模式）、伪分布式和完全分布式 ( 对 )
7.Namenode 是一个中心服务器(master端)，负责管理文件系统的名字空间以及客户端对文件的访问请求 ( 对 )
8.HDFS中的一个块设计的大小为128M，是因为程序为了减小寻址开销，减低namenode的元数据存储 ( 对 )
9.kill -9 命令可以向一个进程发送信号，强行终止进程的运行( 对 )
10.zookeeper分布式集群中，选举机制，谁的服务器id最大，就选谁作为leader（错）
11.zookeeper的特性中的数据更新的原子性,表示一次数据的更新操作要么成功，要么失败，不存在成功了一半这种状态（对）
12.实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的HA机制即：HDFS的HA和YARN的HA （对）
13.zookeeper中观察者角色既能完成非事务性操作，也可以参与leader的投票选举（错）
14.NameNode机器发生意外，如宕机，或者机器需要升级等，集群将无法使用（对）
15.hdfs高可用模式下，无论是处于active的namenode还是处于stabdby的namenode都可以将edits编辑日志写入journal文件管理系统中（错）
16.Yarn的HA高可用中，可以同时有两个resourcemanager处于active状态（错）

选择题

1.MapReducer框架在Reducer阶段给用户提供一些哪些方法( ABD )
A. setup()
B. reduce()
C. map()
D. cleanup()

2.下面的命令描述正确的是( ABCD )
A. 创建一个名称为test组的命令：groupadd test
B. 改用户Tom设置密码命令：passwd Tom
C. 删除用户名为Tom的命令：userdel Tom
D. 切换当前用户帐户为 admin的命令：su admin

3.为了能够使用ls程序列出目录的内容，并能够使用cd进入该目录，操作者需要有( AC )该目录的权限
A. 读
B. 写
C. 执行
D. 递归

4.下面描述正确的是( ABC )
A. HDFS将数量众多的廉价机器使得硬件错误成为常态
B. HDFS支持多种软硬件平台中的可移植性
C. HDFS上的一个文件大小是G或T数量级的，支持的文件数量达到千万数量级
D. HDFS上的文件可以任意修改

5.YARN服务描述正确的是( CD )
A. YARN 总体上仍然是Master/Master 结构
B. YARN服务组件不包括Application Master
C. YARN 总体上仍然是Master/Slave 结构
D. ApplicationMaster，它负责向ResourceManager 申请资源，并要求NodeManger 启动可以占用一定资源的任务

6.YARN服务组件包括( BCD )
A. NameManager
B. ApplicationMaster
C. Container
D. ResourceManager

7.Secondary NameNode描述正确的是( ABCD )
A. Secondary NN通知NameNode切换edit编辑日志
B. Secondary NN从NameNode 获得fsimage和edit编辑日志进行合并
C. Secondary NN将fsimage和edit文件载入内存，然后开始合并文件
D. Secondary NN 将新合并的fsimage（此时文件名还不叫Fsimage）发回给NameNode

8.生成RSA秘钥对的命令是( AB )
A. ssh-keygen -t rsa
B. ssh-keygen -t rsa -P ‘’"
C. ssh -t rsa -P ‘’"
D. keygen -t rsa

9.对NodeManager服务描述正确的是( ABC )
A. .整个集群有多个NodeManager，NodeManager负责单节点资源管理和使用
B. NodeManager管理当前节点的Container资源抽象
C. 通过心跳机制定时地向ResourceManager汇报本节点上的资源使用情况
D. NodeManager服务器跟ResourceManager毫无关系

10.HDFS文件块描述正确的是( AD )
A. hadoop2.版本文件切分成块（默认大小128M），以块为单位
B. hadoop2.版本文件切分成块（默认大小256M），以块为单位
C. hadoop2.版本文件切分成块（默认大小64M），以MB为单位
D. 文件关闭之后不能修改文件内容，只能完成追加操作

11.配置机架感知的下面哪项正确 ( ABC )
A. 如果一个机架出问题，不会影响数据读写
B. 写入数据的时候会写到不同机架的DataNode中
C. MapReduce会根据机架获取离自己比较近的网络数据
D. 随机找寻datanode节点进行数据的存储

12.Client端上传文件的时候下列哪项正确( BD )
A. 数据经过NameNode传递给DataNode
B. Client端将文件切分为Block块，namenode允许上传文件后，与datanode建立连接，依次将数据传到DataNode中落盘
C. Client只上传数据到一台DataNode，然后由NameNode负责Block复制工作
D. 当某个DataNode失败，客户端会继续传给其它DataNode

13.以下描述HDFS的计数器描述正确的是 ( AD )
A. 计数器相当于是一个全局变量
B. 计数器的值在job运行过程中是不稳定的
C. 枚举类型计数器比字符串类型计数器更加灵活
D. 计数器每次增加的值一般都是1

14.以下哪些是Yarn的调度器描述正确的是（ ABC ）
A. FIFO 先进先出
B. 公平调度器（Fair Scheduler）
C. 容量调度器（Capacity Scheduler）
D. Hadoop 2.7.2 默认的是公平调度器（Fair Scheduler）

15.下列关于正则表达式的描述正确的是（ ABCD ）
A. \d 单字符匹配表示匹配数字0~9
B. [^a-z] 单字符匹配表示不匹配a-z之间的字符
C. . 匹配除了换行符之外的任意字符
D. ^ 匹配以…开头

16.以下哪些命令可以实现服务器之间的文件分发（ BC ）
A. cp -r
B. scp -r
C. rsync -av
D. xsync -av

17.下列说法正确的是 ( BCD )
A. inputformat阶段会对文件进行切片，切片过程是物理上的切片
B. inputformat阶段会对文件进行切片切片规则，单个文件切一片，当单个文件的大小超过128M的1.1倍时，默认按照128M进行切片
C. 切片的数量决定了maptask的数量，maptask任务并行执行
D. inputformat会将文件转换为key value输出到mapper类的map()方法

18.下列是继承自FileInputFormat的类的是（ ABCD ）
A. CombineTextInputFormat
B. TextInputFormat
C. NLineInputFormat
D. KeyValueTextInputFormat

19.下列属于hadoop的发行版本的是（ ABC ）
A. Apache
B. Cloudera
C. Hortonworks
D. Centos

20.关于hadoop的压缩格式下列描述正确的是（ BD ）
A. DEFLATE，hadoop自带，支持切片，和文本处理一样，不需要修改
B. bzip2，hadoop自带，支持切片，和文本处理一样，不需要修改
C. LZO，需要安装才能使用，支持切片，和文本处理一样，不需要修改
D. Snappy，需要安装才能使用，不支持切片，和文本处理一样，不需要修改

21.Shuffle中的Partitioner设置分区发生在哪个过程( A )
A. 溢写过程
B. 本地Merge
C. reduce阶段
D. map阶段

22.在执行MapJoin过程中用哪个方法提交缓存文件小表数据 ( A )
A. JoB.addCacheFile()
B. JoB.waitForCompletion()
C. JoB.setMapperClass()
D. JoB.setJarByClass()

23.运行WordCount命令( A )
A. hadoop jar hadoop-examples-2.7.2.jar wordcount /data/input /data/output
B. hadoop fs -hadoop-examples-2.7.2.jar wordcount /data/input /data/output
C. hadoop fs -hadoop-examples-2.7.2/jar wordcount /data/input /data/output
D. hadoop jar hadoop-examples-2.7.2/jar wordcount /data/input /data/output

24.HDFS和YARN均是( B )架构
A. 单一
B. 主从
C. 多服务交换
D. 链式

25.hdfs系统的模块启动脚本是( B )
A. dfs-start.sh
B. start-dfs.sh
C. hdfs-daemon.sh start namenode
D. hadoop-daemon.sh start datanode

26.hdfs HA中JournalNodes的数量至少几个（ C ）
A. 1
B. 2
C. 3
D. 5

27.ZKFC是由哪个框架提供的服务进程( A )
A. hadoop
B. zookeeper
C. Linux
D. Flume

28.检查是否已安装NTP服务命令正确的是( D )
A. rmp -qa ntp
B. rpm -a ntp
C. rpm -q ntp
D. rpm -qa ntp

29.下列那个命令不可以查看hadoop的日志文件( D )
A. Cat hadoop-root-datanode-hadoop01.log
B. less hadoop-root-datanode-hadoop01.log
C. More hadoop-root-datanode-hadoop01.log
D. Text hadoop-root-datanode-hadoop01.log

30.下面那个不是Hadoop Safe Mode命令( C )
A. hadoop dfsadmin -safemode get
B. hadoop dfsadmin -safemode wait
C. hadoop dfsadmin -safemode out
D. hadoop dfsadmin -safemode enter

31.通常情况下，下列那个不属于短应用程序( D )
A. ApplicationMaster
B. YarnChild
C. Container
D. ResourceManager

32.Hadoop 由开源的( B )程序所编写
A. C语言
B. JAVA
C. C++语言
D. Linux

问答题

1.zookeeper集群的角色和作用？

Leader:Zookeeper集群工作的核心。
事务请求（写操作）的唯一调度和处理者，保证集群事务处理的顺序性，集群内各个服务器的调度者；对于 create, setData, delete 等有写操作的请求，则需要统一转发给leader 处理.leader 需要决定编号、执行操作，这个过程称为一个事务。
Follower:处理客户端非事务（读操作）请求，转发事务请求给Leader，参与集群Leader选举投票。
Observer：对于访问量比较大的集群，可以新增观察者角色, 处理客户端非事务（读操作）请求，不参与leader的选举投票。

2.Zookeeper有哪几种节点类型?

永久（Persistent）：客户端和服务器端断开连接后，创建的节点不删除
临时（Ephemeral）：客户端和服务器端断开连接后，创建的节点自己删除
（1）永久化目录节点
客户端与Zookeeper断开连接后，该节点依旧存在
（2）永久化顺序编号目录节点
客户端与Zookeeper断开连接后，该节点依旧存在，只是Zookeeper给该节点名称进行顺序编号
（3）临时目录节点
客户端与Zookeeper断开连接后，该节点被删除
（4）临时顺序编号目录节点
客户端与Zookeeper断开连接后，该节点被删除，只是Zookeeper给该节点名称进行顺序编号。

3.简答描述以下TextInputFormat怎么进行文件切分？

TextInputFormat根据文件大小将文件拆分成splits，如果单个文件较小小于128的1.1倍，则每个文件为一个split，并将文件按行分割形成<key,value>对，如果单个文件较大。超过block块（128M）默认大小得1.1倍，则会将文件切分为多个split。这一步由MapReduce框架自动完成，其中偏移量包括了回车所占的字符数。将分割好的<key,value>对交给用户定义的map方法进行处理，在map方法中根据业务逻辑处理<key,value>后生成新的<key,value>对输出。

4.简单描述MapReduce不合适对哪些场景的使用？

(1).MapReduce不适合做低延迟数据访问场景的使用
(2).MapReduce不适合存储大量小文件
(3).MapReduce不支持多用户写入及任意修改文件

5.yarn有哪几部分组成，作用分别是什么？调度器主要有哪三种，hadoop默认的是哪一种？

由ResourceManager、NodeManager、ApplicationMaster和Container等组件构成；
ResourceManager:处理客户端请求、监控NodeManager、启动或监控ApplicationMaster、资源的分配与调度
NodeManager:管理单个节点上的资源、处理来自ResourceManager的命令、处理来自ApplicationMaster的命令
ApplicationMaster:负责数据的切分、为应用程序申请资源并分配给内部的任务、任务的监控与容错
Container:Container是YARN中的资源抽象，它封装了某个节点上的多维度资源，如内存、CPU、磁盘、网络等。
FIFO、Capacity Scheduler（容量调度器）和Fair Scheduler（公平调度器）
Hadoop2.7.2默认的资源调度器是Capacity Scheduler（容量调度器）

6.请简述ZooKeeper的选举机制?

半数机制：集群中半数以上机器存活，集群可用。所以Zookeeper适合安装奇数台服务器。
（1）全新集群选举：
假设目前有5台服务器，每台服务器均没有数据，它们的编号分别是1,2,3,4,5,按编号依次启动，它们的选举过程如下：
服务器1启动，给自己投票，然后发投票信息，由于其它机器还没有启动所以它收不到反馈信息，服务器1的状态一直属于LOOKING。
服务器2启动，给自己投票，同时与之前启动的服务器1交换结果，由于服务器2的编号大所以服务器2胜出，但此时投票数没有大于半数，所以两个服务器的状态依然是LOOKING。
服务器3启动，给自己投票，同时与之前启动的服务器1,2交换信息，由于服务器3的编号最大所以服务器3胜出，此时投票数正好大于半数，所以服务器3成为领导者，服务器1,2成为Follower。
服务器4启动，给自己投票，同时与之前启动的服务器1,2,3交换信息，尽管服务器4的编号大，但之前服务器3已经胜出，所以服务器4只能成为Follower。
服务器5启动，后面的逻辑同服务器4成为Follower。
（2）非全新集群选举
对于运行正常的zookeeper集群，中途有机器down掉，需要重新选举时，选举过程就需要加入数据ID、服务器ID和逻辑时钟。
其中:
数据ID：数据新的version就大，数据每次更新都会更新version。
服务器ID：就是我们配置的myid中的值，每个机器一个。
逻辑时钟：这个值从0开始递增,每次选举对应一个值。如果在同一次选举中,这个值是一致的。
这样选举的标准就变成：
逻辑时钟小的选举结果被忽略，重新投票；
统一逻辑时钟后，数据id大的胜出；
数据id相同的情况下，服务器id大的胜出；
根据这个规则选出leader。

7.使用Java编写代码，将hdfs上/a.txt文件下载到本地
提示信息：Configuration、FileSystem、FSDataInputStream、FileOutputStream、IOUtils(IOUtils.copyBytes、IOUtils.closeStream)

public void customGet() throws IOException {

    Configuration configuration = new Configuration();FileSystem fileSystem = FileSystem.get(URI.create("hdfs://jinghang100:9000"),configuration,"jinghang");//设置HDFS数据文件的路径Path hdfsPath = new Path("/a.txt");//使用HDFS文件系统对象打开文件FSDataInputStream inputStream = fileSystem.open(hdfsPath);//指定要下载到本地的文件路径String localPath = "C:\\Users\\Administrator\\Desktop\\filetest\\a.txt";//将hdfs系统文件下载值本地FileOutputStream outputStream = new FileOutputStream(localPath);IOUtils.copyBytes(inputStream,outputStream,configuration,true);IOUtils.closeStream(inputStream);IOUtils.closeStream(outputStream);fileSystem.close();
}

Hadoop综合试题5相关推荐

Hadoop 面试题之Hbase
Hadoop 面试题之九 16.Hbase 的rowkey 怎么创建比较好?列族怎么创建比较好? 答: 19.Hbase 内部是什么机制? 答: 73.hbase 写数据的原理是什么? 答: 75.h ...
网格布局每个网格都能放置一个组件_Android综合试题
Android综合试题一.单选题: 1.Android(安卓)是Google开发的基于(B)平台的.开源的.智能手机操作系统. A.Windows B.Linux C.IPhoneOS D.Symb ...
计算机专业实践试题,计算机专业实践综合试题答案..doc
2011年青岛市高职对口第二次模拟考试计算机类专业实践综合试题答案及评分标准一.单项选择题(本大题共50个小题,每小题2分,共100分) 12345678910CADCCBBDCC11121314 ...
2018年3月计算机二级考试题,2018年3月计算机二级考试Access综合试题十
2018年3月计算机等级考试即将开始,小编在这里为考生们整理了2018年3月计算机二级考试Access综合试题,希望能帮到大家,想了解更多资讯,请关注出国留学网的及时更新哦. 2018年3月计算机二级 ...
hadoop面试题答案
hadoop面试题答案 Hadoop 面试题,看看书找答案,看看你能答对多少(2) 1. 下面哪个程序负责 HDFS 数据存储. a)NameNode b)Jobtracker c)Datanode ...
计算机与信息专业综合试题,计算机与信息专业综合试题(有答案)适合事业单位考试...
计算机与信息专业综合试题(有答案)适合事业单位考试 (6页) 本资源提供全文预览,点击全文预览即可全文预览,如果喜欢文档就下载吧,查找使用更方便哦! 9.9 积分一.单项选择题(每题2分,共40分) ...
2022年初级经济师考试综合试题及答案
1. 根据<税收征收管理法>的规定,下列各项中,属于税收保全措施的是( ) . A．暂扣纳税人营业执照 B．书面通知纳税人开户银行从其存款中扣缴税款 C．依法拍卖纳税人价值相当应纳税款货 ...
2022年初级审计师考试综合试题及答案
1.下列关于审计准则的表述,错误的是( ). A.审计准则的作用在于规范审计行为 B.审计准则是衡量审计事项是非优劣的准绳 C.审计准则是明确审计责任的依据 D.不同类型的审计主体应制定各自的审计准 ...
大数据面试题(一)----HADOOP 面试题
"无意中发现了一个巨牛的人工智能教程,忍不住分享一下给大家.教程不仅是零基础,通俗易懂,而且非常风趣幽默,像看小说一样!觉得太牛了,所以分享给大家.点这里可以跳转到教程.". 大数 ...

Hadoop综合试题5

判断题

选择题

问答题

Hadoop综合试题5相关推荐

最新文章

热门文章