1.停掉外部接入服务;

2 NameNode Metadata备份;

2.1 备份fsimage数据,(该操作适用HA和非HA的NameNode),使用如下命令进行备份:

[root@cdh01 dfs]# mkdir nn_metadata_back

[root@cdh01 dfs]# hdfs dfsadmin -fetchImage nn_metadata_back/

[root@cdh01 dfs]# ll nn_metadata_back

2.2 备份edits数据(该操作适用非HA的NameNode),使用如下命令备份:

[root@cdh01 current]# sudo -u hdfs hdfs dfsadmin –rollEdits

2.3 拷贝edits日志到备份目录(该操作适用非HA的NameNode),使用如下命令进行备份

在CM上找到NameNode的dfs.name.dir配置目录

将/data/dfs/nn/current目录下的edits_0*开头的文件拷贝至备份目录

[root@cdh01 dfs]# mkdir nn_metadata_back/edits

[root@cdh01 dfs]# cp /data/dfs/nn/current/edits_0* nn_metadata_back/edits/

[root@cdh01 dfs]#

2.4备份VERSION文件(该操作适用于HA和非HA的NameNode),这个文件不需要定期备份,因为它不会更改,但该文件非常重要,因为文件中包含了clusterID一级其它详细信息

[root@cdh01 dfs]# cp /data/dfs/nn/current/VERSION nn_metadata_back/

[root@cdh01 dfs]# ll nn_metadata_back/

total 1852

drwxr-xr-x 2 root root    831488 Oct 17 10:49 edits

-rw-r--r-- 1 root root     1051656 Oct 17 10:42 fsimage_0000000000007076989

drwx------ 3 root root     4096 Oct 17 14:06 snn

-rw-r--r-- 1 root root     173 Oct 17 10:49 VERSION

3  NameNode Metadata恢复;

3.1通过CM先将uc机器上namenode删除,然后在ali机器上加一个namenode节点;

3.2 通过CM为新加的节点添加NameNode角色;

3.3    检查NameNode的dfs.name.dir配置的目录在服务器上是否存在,如果不存在则需要手动的创建并确保目录属主为hdfs:hdfs,且父目录权限为700;

[root@cdh01 ~]# mkdir -p /data/disk1/dfs/nn/

[root@cdh01 ~]# chown hdfs:hadoop /data/disk1/dfs/nn

[root@cdh01 ~]# chmod 700 /data/disk1/dfs/nn

3.4    将VERSION和最后备份的fsimage文件复制到/data/disk1/dfs/nn/current目录下

[root@cdh01 dfs]# mkdir -p /data/disk1/dfs/nn/current
[root@cdh01 dfs]# cp /data/disk1/nn_metadata_back/VERSION /data/disk1/dfs/nn/current/
[root@cdh01 dfs]# cp /data/disk1/nn_metadata_back/fsimage_0000000000004483704 /data/disk1/dfs/nn/current/
[root@cdh01 dfs]# cp /data/disk1/nn_metadata_back/edits/* /data/disk1/dfs/nn/current/
[root@cdh01 dfs]# chown -R hdfs:hdfs /data/disk1/dfs/nn/current/

3. 5 为fsimage文件创建md5校验

[root@cdh01 dfs]# cd nn/current/

[root@cdh01 current]# md5sum fsimage_0000000000004483704 > fsimage_0000000000004483704.md5
[root@cdh01 current]# ll fsimage_0000000000004483704*

4  启动namenode,验证服务;

5  迁移secondary namenode要简单些,只需迁移整个snn目录到新节点,注意文件权限,然后通过cm删除uc机器上snn,添加新的snn到ali节点;

*****最后在重启集群后,可能会发现hbase master节点起不来,或者不能切换为active状态,可以参考以下文章:

https://community.hortonworks.com/questions/33140/hbase-master-fails-to-start.html

转载于:https://www.cnblogs.com/gxc2015/p/9836235.html

cdh中hdfs非ha环境迁移Namenode与secondaryNamenode,从uc机器到阿里;相关推荐

  1. CDH里HDFS的HA配置

    CDH里HDFS的HA配置 1.在正常启动的CDH集群上,点击左边的 HDFS 2.进入后,点击 实例 – 启用High Availability 3.默认,点击 继续 4.选择HA的主机和Journ ...

  2. HDFS(下):NameNode和SecondaryNameNode、HDFS工作机制、故障处理、集群安全模式、服役退役节点、集群黑白名单、DataNode多目录详解、HDFS2.x新特性

    接上篇,上篇文章传送门:HDFS(上):HDFS优缺点.HDFS操作.HDFS客户端操作.HDFS的API.HDFS数据流.HDFS的IO流.HDFS读写数据流程.HDFS文件处理详解.windows ...

  3. 解决cdh中HDFS检查点状态不良问题

    web界面不良信息: 文件系统检查点已有 13天,23 小时,59分钟.占配置检查点期限 1 小时的 3,860.33%. 临界阈值:400.00%. 自上个文件系统检查点以来已发生 ***个事务. ...

  4. hdfs安全模式退出_浅谈HDFS(二)之NameNode与SecondaryNameNode

    NN与2NN工作机制 思考:NameNode中的元数据是存储在哪里的? 假设存储在NameNode节点的硬盘中,因为经常需要随机访问和响应客户请求,必然效率太低,所以是存储在内存中的 但是,如果存储在 ...

  5. Hadoop HDFS源码学习之NameNode部分

    NameNode源码学习 文章目录 NameNode源码学习 一.文件系统目录树(第一关系) 2.1 INode相关类 2.2 快照特性的实现 2.3 FSEditLog类 2.4 FSImage类 ...

  6. eclipse中hadoop2.3.0环境部署及在eclipse中直接提交mapreduce任务

    转自:http://my.oschina.net/mkh/blog/340112 1 eclipse中hadoop环境部署概览 eclipse中部署hadoop包括两大部分:hdfs环境部署和mapr ...

  7. 第三篇——第二部分——第四文 配置SQL Server镜像——非域环境

    原文: 第三篇--第二部分--第四文 配置SQL Server镜像--非域环境 本文为非域环境搭建镜像演示,对于域环境搭建,可参照上文:http://blog.csdn.net/dba_huangzj ...

  8. SQL SERVER非域环境搭建镜像

    本文将使用非域环境来搭建镜像,同样,先按照不带见证服务器的高安全模式(同步)的方式搭建,然后 演示异步模式,最后会演示带有见证服务器的高安全模式. 准备条件 服务器 服务器角色 机器名/实例名 版本 ...

  9. 移动namenode、secondarynamenode和jobTracker的节点(使其成为独立节点)

    由于集群规模差异较大,对于主节点守护进程的配置也差异很大,包括namenode.辅助namenode和jobtracker.对于一个小型集群来说(几十个节点),可以直接将这些守护进程放到单独的一台机器 ...

最新文章

  1. 字符串-最后一个单词的长度(双指针)
  2. 【LeetCode 剑指offer刷题】数组题2:57 有序数组中和为s的两个数(167 Two Sum II - Input array is sorted)...
  3. 【STM32】窗口看门狗 WWDG 实验代码详解
  4. 【内容生产创“新”之道】
  5. linux获取主板温度电压_自学修电脑:常见主板报警声解析!
  6. Centos7找不到ifconfig和netstat命令
  7. WPF触屏Touch事件在嵌套控件中的响应问题
  8. Java StringBuilder codePointAt()方法与示例
  9. 聚类分析 - K-means - Python代码实现
  10. 区块链教程(三):Solidity编程基础
  11. vue获取table一列数据_vue中比较重要的小知识点
  12. python中unitest_基于Python的unitest框架介绍
  13. 科来网络分析系统11.1(技术交流免费版)
  14. Ribbon负载均衡配置
  15. android 修改软件图标大小,android – 是否可以在EditText中更改图标的大小
  16. 新疆旅游攻略-乌鲁木齐
  17. iov_iter操作
  18. 解决谷歌浏览器打开是2345主页的问题
  19. Linux终端Terminal常用快捷键
  20. 写一篇基于SPEA2算法的高维多目标救灾物资分配的论文

热门文章

  1. druid删除数据_Apache druid 删除数据流程 0.13
  2. C语言——数组、函数、指针
  3. c语言程序设计工资纳税系统流程图,c语言程序设计,纳税工资系统.doc
  4. linux下根据端口查进程,linux根据进程查端口,根据端口查进程
  5. ubuntu c++检测usb口事件变化_拆解报告:美式双USBA口充电插座
  6. 群晖ffmpeg_群晖Video station支持DTS和EAC3
  7. skywalking 安装_SkyWalking全链路追踪利器
  8. python找不到文件怎么办_python open找不到文件怎么办?
  9. fastapi 安全性 / APIRouter / BackgroundTasks / 元数据 / 测试调试
  10. LeetCode MySQL 1623. 三人国家代表队