CDH集群中HDFS单点故障解决方案：HA模式（High Availability）

CDH集群开发HDFS的High Avaliability模式

Step1 什么是单点故障？
Step2 HDFS为什么会出现单点故障？它是怎么解决的？
Step3 开启HDFS的高可用(High Avaliability)模式

Step1 什么是单点故障？

单点故障（英语：single point of failure，缩写SPOF）是指系统中一旦失效，就会让整个系统无法运作的部件，换句话说，单点故障即会整体故障。

图中的路由器就是一个SPOF，若该路由器失效，这些电脑之间的通信就无法运作

Step2 HDFS为什么会出现单点故障？它是怎么解决的？

我们先来看看HDFS的架构，可以看到只有一个NameNode节点，这就意味着NameNode节点一旦失效，就会让整个系统无法运作。在单点故障和精简架构两面不可兼得的情况下，他们选择了精简架构。

原话是这么说的：
The existence of a single NameNode in a cluster greatly simplifies the architecture of the system. The NameNode is the arbitrator and repository for all HDFS metadata. The system is designed in such a way that user data never flows through the NameNode.

NameNode服务负责HDFS文件系统Namespace的操作，包括打开、关闭、重命名文件和目录。以及是HDFS元数据(Metadata)的管理中心和存储库，存储的是文件系统的所有更改记录。NameNode不负责元数据的存储，只记录元数据的存储位置。这大概是架构师选择单点NameNode的原因吧。

Step3 开启HDFS的高可用(High Avaliability)模式

CDH集群下开启HDFS的高可用模式，开启后会关闭SecondaryNameNode
选择zk节点的服务器承载JournalNode（zookeeper至少3个节点）
JournalNode的目录建议配置在/dfs目录下：/dfs/nn
*注意：此时需要删除NameNode所在节点的/dfs/nn的文件，执行：rm -rf /dfs/nn;否则会出现异常
启动过程中出现异常

创建/tmp目录失败解决方案：手动在hdfs文件系统创建/tmp目录
。切换到hdfs用户：
su hdfs，执行创建操作：hadoop dfs -mkdir /tmp
注：该异常不影响HA模型的部署，完成HA模式的启动步骤后，再手动创建/tmp目录即可
成功启用HA模式，需要更新Hive Metastore NameNode
如果缺少该步骤，进入hive控制台会提示FAILED: SemanticException Unable to determine if hdfs://hadoop7:8020/test/test_table is encrypted:
我这里已经更新过了，所以不能再点击：

CDH集群中HDFS单点故障解决方案：HA模式（High Availability）相关推荐

spark-测试模式-在windows中连接虚拟机中cdh集群的hdfs和hive和linux单机模式
需求1:在windows的idea中连接虚拟机cdh集群的hdfs和hive 在windows中的idea中直接把spark程序的master设为local,然后连接虚拟机中的hdfs和hive.这是 ...
CDH集群中YARN的参数配置
为什么80%的码农都做不了架构师?>>> CDH集群中YARN的参数配置前言:Hadoop 2.0之后,原先的MapReduce不在是简单的离线批处理MR任务的框架,升级为M ...
Hadoop集群中HDFS的API测试案例以及MapReduce的多种提交Job方式案例
这两个案例默认是hadoop集群环境已经搭建好以及IDEA环境也已经配置好 1.HDFS客户端测试案例 1.1.pom依赖 <?xml version="1.0" encod ...
真实集群中Flink命令行各种模式提交wordcount
依然使用[1]中的代码和工程目录结构. ####################编译和运行################################# mvn clean package -Dm ...
cdh集群linux命令,CDH集群中，服务器启动spark2-shell命令行注意事项
1.环境 cdh5.12.3 spark2 2.3.0 2.需要本地地洞spark2-shell用于环境测试错误一:Error: A JNI error has occurred, please c ...
从零搭建生产Hadoop集群（五）——CDH集群修改主机名与IP
从零搭建生产Hadoop集群(五)--CDH集群修改主机名与IP 一.概述二.完整步骤 1.官网推荐步骤: (1)验证下SSL/TLS认证是否所有服务都有配备,确认创建新的SSL/TLS认证. (2 ...
CDH集群搭建（CDH 6.0.1）
CDH集群安装步骤参考文章安装前准备配置网络名称禁用防火墙设置SELinux模式启用NTP服务配置集群ssh免密登录安装安装jdk 安装服务和配置TLS 安装服务配置TLS 安装并 ...
kill 进程_05516.1普通用户配置kill CDH集群进程权限
作者:李继武 1 文档编写目的在前面的文章<0548-5.13.1-如何使用普通用户管理CM server和agent服务>解决了只能使用普通用户来管理CM和Agent服务的需求.本文档 ...
使用Cloudera Manager搭建zookeeper集群及HDFS HA实战篇
使用Cloudera Manager搭建zookeeper集群及HDFS HA实战篇作者:尹正杰版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.使用Cloudera Manager搭建zo ...