2020年11月工信部考试——Hadoop（数据应用技术）中级认证3

系统提纲
281.掌握常用 hdfs 操作命令，执行并查看结果。
283. 在 Linux 系统中创建一个目录 work，并在该目录下创建文件 file.txt，写入“I have a dream!”
284. 请使用 SQL 创建student表
284．Java 字符串操作，按提示补充空白处代码：
287. HDFS 命令行操作
288. HDFS 安全模式相关操作：
289. 下列是 HDFS 通过 Java API 操作代码，根据提示补充内容：
296．HBase 基本操作
297．完善 Flume 的 Agent 配置
305. Hive 的 sort by 和 order by 的区别
306. 写出以下hadoop执行命令
314.创建子目录 dd,然后把当前目录信息以长格式附加重定向到文件 song1 中。
315. 查看当前系统日期和时间信息，且把该信息附加重定向到文件 song1 中。
316. 查看 HOME 变量的值，且把该信息附加重定向到文件 tang1 中。
317．当前目录下，创建目录 www,把文件 new1 复制到 www 中的文件 new3 中。
318. 显示当前系统正在运行的进程信息，把该信息附加重定向到文件 tang1 中。
319. 编写 Shell 程序，首先输出一行“this is the information of users”的提示信息，接着查看当前注册的用户信息，然后查找目录/bin 中的所有以字母 l 开头的文件，最后显示当前工作路径。
320. 编写 Shell 程序，使其执行时在屏幕上输出整数 1~50，但其中位于 20 和 30 之间的偶数不输出。
————————————问答题————————————
285. 简述 Hadoop 安装？
286. 在 HDFS 中 fsimage 和 edits 这两个文件是如何合并的？
291. HDFS 写文件流程
292. HDFS 读文件流程
293. mapreduce 的优化方法
294. MapReduce 中排序发生在哪几个阶段？这些排序是否可以避免？为什么？
298．Zookeep`r 四种类型的 znode
299. 多线程有几种实现方法?
301. 重写 override，重载 overload 的区别
302. 请简述 yarn 流程
303. hive 跟 hbase 的区别
304. Hive 有哪些方式保存元数据，各有哪些优缺点。
307. 三个 datanode，当有一个 datanode 出现错误会怎样？
308. hive 内部表和外部表的区别
310. 请简述 hadoop 怎样实现二级排序
311. hbase 内部机制是什么
313. 请谈谈你对 HDFS 存储的机制的理解?

281. 掌握常用 hdfs 操作命令（hdfs dfs），执行并查看结果（可以在终端输入 hdfs dfs - help 查询命令用法）。

先通过 vi 在 Linux 本地(路径自定)创建三个文本文件：test1.txt、test2.txt、test3.txt。文件里面随意输入些内容。
列出根目录下文件或者目录
hdfs dfs -ls /
在根目录下分别创建目录：/学号后三位/mydemo1 和 /学号后三位/mydemo2 (例如：/001/mydemo1、/001/mydemo2)
以下题目中的学号后三位都用 001 来举例，各位同学在做实验时根据自己的实际学号进行操作
hdfs dfs -mkdir -p /001/mydemo1
hdfs dfs -mkdir -p /001/mydemo2
将本地目录下 test1.txt 文件上传到 HDFS 的/001/mydemo1 路径下并且重命名为 file1.txt
hdfs dfs -put test1.txt /001/mydemo1/file1.txt
将本地目录下 test2.txt 和 test3.txt 文件上传到 HDFS 的/001/mydemo2 路径下并分别重命名为 file2.txt 和 file3.txt
hdfs dfs -put test2.txt /001/mydemo2/file2.txt
hdfs dfs -put test3.txt /001/mydemo2/file3.txt
递归列出 HDFS 目录/001 下的所有子目录和文件
hdfs dfs -ls -R /001
查看 HDFS 的/001/mydemo1/file1.txt 文件中的内容：
hdfs dfs -cat /001/mydemo1/file1.txt
将 HDFS 的/001/mydemo2/file3.txt 文件复制到/001/mydemo1 下
hdfs dfs -cp /001/mydemo2/file3.txt /001/mydemo1
删除 HDFS 的/001/mydemo2/file3.txt
hdfs dfs -rm /001/mydemo2/file3.tx
将 HDFS 的/001/mydemo2/file2.txt 的文件移动到/001/mydemo1 下
hdfs dfs -mv /001/mydemo2/file2.txt /001/mydemo1
合并/001/mydemo1 下的所有文件并且下载到本地，命名为 merge.txt
hdfs dfs -getmerge /001/mydemo1 merge.txt
在 HDFS 的/001/mydemo2 下创建一个空文件 file.txt
hdfs dfs -touchz /001/mydemo2/file.txt
将本地 merge.txt 文件追加到 HDFS 中的/001/mydemo2/file.txt 的文件末尾
hdfs dfs -appendToFile merge.txt /001/mydemo2/file.txt
删除 HDFS 的目录 mydemo1 以及该目录下的所有文件
hdfs dfs -rm -r /001/mydemo1
查看 HDFS 的/001/mydemo2 下各文件的大小
hdfs dfs -du /001/mydemo2

283. 在 Linux 系统中创建一个目录 work，切换到该目录，并在该目录下创建文件 file.txt，写入内容“I have a dream!”，最后查看文件是否创建。

mkdir work
cd work
echo “I have a dream” > file.txt
ls

284. 请使用 SQL 创建如下表：

表名： student
属性：
ID varchar(18) PK
Name varchar(20)
Gender varchar(10)
插入下列数据：
学号，姓名，性别
001，Jones，male
002，Lily，female

CREATE TABLE ` student` (`ID` VARCHAR(18) NOT NULL, `Name` VARCHAR(20) NULL, `Gender` VARCHAR(10) NULL, PRIMARY KEY (`ID`));
INSERT INTO `kettle_test`.`student2` (`ID`, `Name`, `Gender`) VALUES ('001', 'Jones', 'male');
INSERT INTO `kettle_test`.`student2` (`ID`, `Name`, `Gender`) VALUES ('002', 'Lily', 'female');

284．Java 字符串操作，按提示补充空白处代码：

public class App{ public static void main(String[] args){ String str = "Hello World!"; System.out.println(str); //输出字符串 System.out.println(str.substring(0, 5)); // 只输出 Hello System.out.println(str.length()); // 输出字符串长度 // 拆分字符串，并使用 for 循环输出 String[] words = str.split(“ ”); for (String word:words) System.out.println(str);        //System.out.println(word);//System.out.println(words);不知道是哪一个}
}

287. HDFS 命令行操作

列出/user/ U S E R 下的文件和目录 ( 前提： / u s e r / {USER}下的文件和目录(前提：/user/ USER下的文件和目录(前提：/user/{USER}已经存在，否则报错)列出根目录
hdfs dfs -ls
hdfs dfs -ls /

288. HDFS 安全模式相关操作：

获取当前安全模式信息：hdfs dfsadmin -safemode get
进入安全模式：hdfs dfsadmin -safemode enter
退出安全模式：hdfs dfsadmin -safemode leave
等待安全模式退出：hdfs dfsadmin -safemode wait

289. 下列是 HDFS 通过 Java API 操作代码，根据提示补充内容：

public class App
{ public static void main( String[] args ) throws URISyntaxException,IOException,
InterruptedException {                             // 设置连接 hdfs 的服务器地址 URI，访问用户 hadoop,设在配置 Configuration URI uri = new URI("hdfs://localhost:9000"); String user = new String("hadoop"); Configuration conf = new Configuration(); FileSystem fs = FileSystem.get(uri, conf, user);  // 连接到 hdfs fs.copyFromLocalFile(new Path("/home/hadoop/file.txt"), new  Path("file.txt")); // 上传文件 fs.close();                                     // 关闭连接System.out.println( "upload complete!" );
}

296．HBase 基本操作

进入 HBase shell：hbase shell
查看版本信息：version
查看状态：status
查看帮助：help

297．完善 Flume 的 Agent 配置

#1、定义 agent 的名称、source、channel、sink 的名称
agent1.sources = source1
agent1.channels = channel1
agent1.sinks = sink1
#2、配置 channel 组件属性
agent1.channels.channel1.type = memory
#3、配置 source 组件属性
agent1.sources.source1.channels = channel1
agent1.sources.source1.type = spooldir
agent1.sources.source1.spoolDir = /home/hadoop/flume/spooldir
#4、配置 sink 组件属性
agent1.sinks.sink1.channel = channel1
agent1.sinks.sink1.type = logger

305. Hive 的 sort by 和 order by 的区别

order by 会对输入数据做全局排序，只有一个 reduce，数据量较大时，很慢。
sort by 不是全局排序，只能保证每个 reduce 有序，不能保证全局有序，需设置mapred.reduce.tasks>1

306. 写出以下执行命令

1）如何杀死一个 job
先 Hadoop job -list 得到 jobid 杀死 job：hadoop job -kill jobid
2）删除 hdfs 上的/tmp/xxx 目录
hadoop fs -rm -r /tmp/xxx
3）加入一个新的存储节点和删除一个计算节点，需要刷新集群状态命令
加入新节点时：
Hadoop-daemon.sh start datanode
Hadoop-daemon.sh start tasktracker
删除节点时
Hadoop maradmin -refreshnodes
Hadoop dfsadmin –refreshnodes

314. 创建子目录 dd,然后把当前目录信息以长格式附加重定向到文件 song1 中。

mkdir dd
ls -l >>song1

315. 查看当前系统日期和时间信息，且把该信息附加重定向到文件 song1 中。

date
date>>song1

316. 查看 HOME 变量的值，且把该信息附加重定向到文件 tang1 中。

echo $HOME echo $HOME >>tang1

317．当前目录下，创建目录 www,把文件 new1 复制到 www 中的文件 new3 中。

mkdir www
cp new1 www/new3

318. 显示当前系统正在运行的进程信息，把该信息附加重定向到文件 tang1 中。

ps -ef
ps -ef >>tang1

319. 编写 Shell 程序，首先输出一行“this is the information of users”的提示信息，接着查看当前注册的用户信息，然后查找目录/bin 中的所有以字母 l 开头的文件，最后显示当前工作路径。

echo "this is the infomation of users"
who
find /bin -name "l*" –print
pwd

320. 编写 Shell 程序，使其执行时在屏幕上输出整数 1~50，但其中位于 20 和 30 之间的偶数不输出。

for ((i=1;i<=50;i++))
doif ((i>=20 && i<=30 && i%2==0))
then continue
fi
echo $i
done

————————————`问答题`————————————

285. 简述 Hadoop 安装？

1）关闭防火墙
2）配置 SSH 免密码登录
3）安装 JDK
4）解压，配置 Hadoop 环境变量
5）修改 Hadoop 的配置文件 hadoop-env.sh，core-site.xml , mapred-site.xml ，hdfs-site.xml，yarn-site.xml
6）格式化 hdfs namenode -format
7）启动节点 start-all.sh

286. 在 HDFS 中 fsimage 和 edits 这两个文件是如何合并的？

第一步：将 hdfs 更新记录写入一个新的文件——edits.new。
第二步：将 fsimage 和 editlog 通过 http 协议发送至 secondary namenode。
第三步：将 fsimage 与 editlog 合并，生成一个新的文件——fsimage.ckpt。这步之所以要在 secondary namenode 中进行，是因为比较耗时，如果在 namenode 中进行，或导致整个系统卡顿。
第四步：将生成的 fsimage.ckpt 通过 http 协议发送至 namenode。
第五步：重命名 fsimage.ckpt 为 fsimage，edits.new 为 edits。

291. HDFS 写文件流程

1.初始化 FileSystem，客户端调用 create()来创建文件
2.FileSystem 用 RPC 调用元数据节点，在文件系统的命名空间中创建一个新的文件，元数据节点首先确定文件原来不存在，并且客户端有创建文件的权限，然后创建新文件。
3.FileSystem 返回 DFSOutputStream，客户端用于写数据，客户端开始写入数据。
4.DFSOutputStream 将数据分成块，写入 data queue。data queue 由 Data Streamer读取，并通知元数据节点分配数据节点，用来存储数据块(每块默认复制 3 块)。分配的数据节点放在一个 pipeline 里。Data Streamer 将数据块写入 pipeline 中的第一个数据节点。第一个数据节点将数据块发送给第二个数据节点。第二个数据节点将数据发送给第三个数据节点。
5.DFSOutputStream 为发出去的数据块保存了 ack queue，等待 pipeline 中的数据节点告知数据已经写入成功。
6.当客户端结束写入数据，则调用 stream 的 close 函数。此操作将所有的数据块写入
pipeline 中的数据节点，并等待 ack queue 返回成功。最后通知元数据节点写入完毕。
7.如果数据节点在写入的过程中失败，关闭 pipeline，将 ack queue 中的数据块放入 data
queue 的开始，当前的数据块在已经写入的数据节点中被元数据节点赋予新的标示，则错
误节点重启后能够察觉其数据块是过时的，会被删除。失败的数据节点从 pipeline 中移除，
另外的数据块则写入 pipeline 中的另外两个数据节点。元数据节点则被通知此数据块是复
制块数不足，将来会再创建第三份备份。

292. HDFS 读文件流程

（1）HDFS 客户端通过 DistributedFileSystem 对象的 open()方法打开要读取的文件。
（2）DistributedFileSystem 负责向远程的名称节点（NameNode）发起 RPC 调用，得到
文件的数据块信息，返回数据块列表。对于每个数据块，NameNode 返回该数据块的DataNode 地址。
（3）DistributedFileSystem 返回一个 FSDataInputStream 对象给客户端，客户端调用 FSDataInputStream 对象的 read()方法开始读取数据。
（4）通过对数据流反复调用 read()方法，把数据从数据节点传输到客户端。
（5）当一个节点的数据读取完毕时，DFSInputStream 对象会关闭与此数据节点的连接，连接此文件下一个数据块的最近数据节点。
（6）当客户端读取完数据时，调用 FSDataInputStream 对象的 close()方法关闭输入流。

293. mapreduce 的优化方法

数据输入
map 阶段
reduce 阶段
IO 传输
数据倾斜问题
常用的调优参数

294. MapReduce 中排序发生在哪几个阶段？这些排序是否可以避免？为什么？

（1）部分排序：
MapReduce 根据输入记录的键对数据集排序。保证输出的每个文件内部排序。
（2）全排序：
如何用 Hadoop 产生一个全局排序的文件？最简单的方法是使用一个分区。但该方法在处理大型文件时效率极低，因为一台机器必须处理所有输出文件，从而完全丧失了MapReduce 所提供的并行架构。
替代方案：首先创建一系列排好序的文件；其次，串联这些文件；最后，生成一个全局排序的文件。主要思路是使用一个分区来描述输出的全局排序。例如：可以为待分析文件创建 3 个分区，在第一分区中，记录的单词首字母 a-g，第二分区记录单词首字母 h-n, 第三分区记录单词首字母 o-z。
（3）辅助排序：（GroupingComparator 分组）
Mapreduce 框架在记录到达 reducer 之前按键对记录排序，但键所对应的值并没有被排序。甚至在不同的执行轮次中，这些值的排序也不固定，因为它们来自不同的 map 任务且这些 map 任务在不同轮次中完成时间各不相同。一般来说，大多数 MapReduce 程序会避免让 reduce 函数依赖于值的排序。但是，有时也需要通过特定的方法对键进行排序和分组等以实现对值的排序。
（4）二次排序：
在自定义排序过程中，如果 compareTo 中的判断条件为两个即为二次排序。
2）自定义排序 WritableComparable
bean 对象实现 WritableComparable 接口重写 compareTo 方法，就可以实现排序。

298．Zookeep`r 四种类型的 znode

1.持久化节点
2.临时节点
3.持久化顺序节点
4.临时顺序节点

299. 多线程有几种实现方法?

多线程有两种实现方法，分别是继承 Thread 类与实现 Runnable 接口300. Integer 与 int 的区别int 是 java 提供的 8 种原始数据类型之一。Java 为每个原始类型提供了封装类，Integer是 java 为 int 提供的封装类。int 的默认值为 0，而 Integer 的默认值为 null，即 Integer可以区分出未赋值和值为 0 的区别，int 则无法表达出未赋值的情况。

301. 重写 override，重载 overload 的区别

java 的方法重载
就是在类中可以创建多个方法，它们具有相同的名字，但具有不同的参数和不同的定义。调用方法时通过传递给它们的不同参数个数和参数类型来决定具体使用哪个方法,而且返回值类型可以相同也可以不相同，这也是面向对象的多态性。
java 的方法重写
父类与子类之间的多态性，对父类的函数进行重新定义。如果在子类中定义某方法与其父类有相同的名称和参数，我们说该方法被重写 (Overriding)。在 Java 中，子类可继承父类中的方法，而不需要重新编写相同的方法。但有时子类并不想原封不动地继承父类的方法，而是想作一定的修改，这就需要采用方法的重写。方法重写又称方法覆盖。
若子类中的方法与父类中的某一方法具有相同的方法名、返回类型和参数表，则新方法将覆盖原有的方法。如需父类中原有的方法，可使用 super 关键字，该关键字引用了当前类的父类。
子类函数的访问修饰权限不能少于父类的；重写方法只能存在于具有继承关系中，重写方法只能重写父类非私有的方法。

302. 请简述 yarn 流程

用户向 YARN 中提交应用程序，其中包括 ApplicationMaster 程序、启动 ApplicationMaster 的命令、用户程序等。
ResourceManager 为该应用程序分配第一个 Container，并与对应的 NodeManager 通信，要求它在这个 Container 中启动应用程序的 ApplicationMaster。
ApplicationMaster 首先向 ResourceManager 注册，这样用户可以直接通过
ResourceManage 查看应用程序的运行状态，然后它将为各个任务申请资源，并监控它的运行状态，直到运行结束，即重复步骤 4~7。
ApplicationMaster 采用轮询的方式通过 RPC 协议向 ResourceManager 申请和领取资源。
一旦 ApplicationMaster 申请到资源后，便与对应的 NodeManager 通信，要求它启动任务。
NodeManager 为任务设置好运行环境（包括环境变量、JAR 包、二进制程序等）后，将任务启动命令写到一个脚本中，并通过运行该脚本启动任务。
各个任务通过某个 RPC 协议向 ApplicationMaster 汇报自己的状态和进度，以让 ApplicationMaster 随时掌握各个任务的运行状态，从而可以在任务失败时重新启动任务。在应用程序运行过程中，用户可随时通过 RPC 向 ApplicationMaster 查询应用程序的当前运行状态。
应用程序运行完成后，ApplicationMaster 向 ResourceManager 注销并关闭自己

303. hive 跟 hbase 的区别

1.hbase 与 hive 都是架构在 hadoop 之上的。都是用 hadoop 作为底层存储区别：
2.Hive 是建立在 Hadoop 之上为了减少 MapReduce jobs 编写工作的批处理系统，HBase 是为了支持弥补 Hadoop 对实时操作的缺陷的项目。
3.想象你在操作 RMDB 数据库，如果是全表扫描，就用 Hive+Hadoop,如果是索引访问，就用 HBase+Hadoop 。
4.Hive query 就是 MapReduce jobs 可以从 5 分钟到数小时不止，HBase 是非常高效的，肯定比 Hive 高效的多。
5.Hive 本身不存储和计算数据，它完全依赖于 HDFS 和 MapReduce，Hive 中的表纯逻辑。
6.hive 借用 hadoop 的 MapReduce 来完成一些 hive 中的命令的执行
7.hbase 是物理表，不是逻辑表，提供一个超大的内存 hash 表，搜索引擎通过它来存储索引，方便查询操作。
8.hbase 是列存储。
9.hdfs 作为底层存储，hdfs 是存放文件的系统，而 Hbase 负责组织文件。
10.hive 需要用到 hdfs 存储文件，需要用到 MapReduce 计算框架。

304. Hive 有哪些方式保存元数据，各有哪些优缺点。

1)存储于 derby 数据库，此方法只能开启一个 hive 客户端，不推荐使用
2)存储于 mysql 数据库中，可以多客户端连接，推荐使用。

307. 三个 datanode，当有一个 datanode 出现错误会怎样？

datanode 以数据块作为容错单位通常一个数据块会备份到三个 datanode 上，如果一个 datanode 出错，则回去其他备份数据块的 datanode 上读取，并且会把这个 datanode 上的数据块再复制一份，以达到备份的效果。

308. hive 内部表和外部表的区别

内部表：建表时会在 hdfs 创建一个表的存储目录，增加分区的时候，会将数据复制到此 location 下，删除数据的时候，将表的数据和元数据一起删除。
外部表：一般会建立分区，增加分区的时候不会将数据移到此表的 location 下，删除数据的时候，只删除了表的元数据信息，表的数据不会删除。

310. 请简述 hadoop 怎样实现二级排序

第一种方法是，Reducer 将给定 key 的所有值都缓存起来，然后对它们再做一个 Reducer 内排序。但是，由于 Reducer 需要保存给定 key 的所有值，可能会导致出现内存耗尽的错误。
第二种方法是，将值的一部分或整个值加入原始 key，生成一个合成 key。这两种方法各有优势，第一种方法可能会更快一些(但有内存耗尽的危险)，第二种方法则是将排序的任务交给 MapReduce 框架，更符合 Hadoop/Reduce 的设计思想。这篇文章里选择的是第二种。
我们将编写一个 Partitioner，确保拥有相同 key(原始 key，不包括添加的部分)的所有数据
被发往同一个 Reducer，还将编写一个 Comparator，以便数据到达 Reducer 后即按原始
key 分组。

311. hbase 内部机制是什么

内部机制更多的是借助 nosql 数据的关系模型，是建立的 hdfs 之上，提供高可靠性、高性能、列存储、可伸缩、实时读写的数据库系统。312. hive 相对于 Oracle 来说有那些优点？
1）存储，hive 存储在 hdfs 上，oracle 存储在本地文件系统
2）扩展性，hive 可以扩展到数千节点，oracle 理论上只可扩展到 100 台左右
3）单表存储，数据量大 hive 可以分区分桶，oracle 数据量大只能分表。

313. 请谈谈你对 HDFS 存储的机制的理解?

HDFS 的三个实体：
数据块
每个磁盘都有默认的数据块大小,这是磁盘进行读写的基本单位.构建于单个磁盘之上的文件。
系统通过磁盘块来管理该文件系统中的块.该文件系统中的块一般为磁盘块的整数倍.磁盘块一般为 512 字节.HDFS 也有块的概念,默认为 64MB(一个 map 处理的数据大小).HDFS上的文件也被划分为块大小的多个分块,与其他文件系统不同的是,HDFS 中小于一个块大小的文件不会占据整个块的空间。
HDFS 用块存储带来的第一个明显的好处一个文件的大小可以大于网络中任意一个磁盘的容量,数据块可以利用磁盘中任意一个磁盘进行存储.第二个简化了系统的设计,将控制单元设置为块,可简化存储管理,计算单个磁盘能存储多少块就相对容易.同时也消除了对元数据的顾虑,如权限信息,可以由其他系统单独管理.

DataNode 节点
DataNode 是 HDFS 文件系统的工作节点 ,它们根据需要存储并检索数据块 , 受 NameNode 节点调度.并且定期向 NameNode 发送它们所存储的块的列表

NameNode 节点
NameNode 管理 HDFS 文件系统的命名空间,它维护着文件系统树及整棵树的所有的文件及目录.这些文件以两个文件形式永久保存在本地磁盘上(命名空间镜像文件和编辑日志文件).NameNode 记录着每个文件中各个块所在的数据节点信息但并不永久保存这些块的位置信息,因为这些信息在系统启动时由数据节点重建.没有 NameNode,文件系统将无法使用.如提供 NameNode 服务的机器损坏,文件系统上的所有文件丢失,我们就不能根据 DataNode 的块来重建文件.因此,对 NameNode 的容错非常重要.

第一种机制,备份那些组成文件系统元数据持久状态的文件.通过配置使 NameNode 在多个文件系统上保存元数据的持久状态或将数据写入本地磁盘的同时,写入一个远程挂载的网络文件系统.当然这些操作都是原子操作.

第二种机制是运行一个辅助的 NameNode,它会保存合并后的命名空间镜像的副本,并在 Name/Node 发生故障时启用.但是辅助 NameNode 保存.态总是滞后于主力节点,所以在主节点全部失效后难免丢失数据.在这种情况下,一般把存储在远程挂载的网络文件系统的数据复制到辅助 NameNode 并作为新的主 NameNode 运行.