测试环境介绍:

Hadoop 1.0.3  升级到Hadoop2.4.1

当前老环境(三副本环境):

Namenode 192.168.1.10

Datanode         192.168.1.11 (SecondNamenode)

Datanode         192.168.1.12

Datanode         192.168.1.13

由于Hadoop2.4.1支持HA集群,所有需要在增加一台Namenode机器

新环境规划如下:

Namenode         192.168.1.10

Namenode2        192.168.1.14   新增

Datanode         192.168.1.11

Datanode         192.168.1.12

Datanode         192.168.1.13

为了预防升级过程中出现的各种问题,最好在集群升级的过程前先备份好集群namenode的元数据(${HADOOP_HOME}/conf/hdfs-site.xml中的dfs.name.dir所配置的文件夹),以免升级失败带来不可挽回的损失!

升级步骤开始:

1、 关掉hadoop-1.0.3版本的守护线程,并将关于Hadoop1.0.3所有的相关的环境变量(HADOOP_HOME、PATH等相关环境变量配置)删掉(如果有),以防对Hadoop2.4.1升级的影响。

2、 将Hadoop2.4.1的${HADOOP_HOMOE}/etc/hadoop/hdfs-site.xml

中dfs.namenode.name.dir和dfs.datanode.data.di属性的值分别指向Hadoop1.3.0的${HADOOP_HOME}/conf/hdfs-site.xml中dfs.name.dir和dfs.data.dir的值。

3、 配置Hadoop2.4.1(过程略)。

4、 拷贝Namenode节点上的dfs.namenode.name.dir元数据到Namenode2节点的相关目录。

拷贝dfs.namenode.name.dir元数据里的current目录到Namenode共享目录。

5、 启动第一台Namenode:

$ hadoop-daemon.sh start  namenode

正常情况下无法启动,报错提示:

File system p_w_picpath contains an old layout version –x.

An upgrade to version -47 is required.

Please restart NameNode with -upgrade option.

提示启动NameNode应该带上-upgrade选项,再试一下

$ hadoop-daemon.sh start  namenode  -upgrade

Jps查看启动成功。

6、 在第二台Namenode(Namenode2)上启动namenode

$ hadoop-daemon.sh start  namenode

正常情况下可以正常启动。

7、 在Datanode节点上依次启动datanode节点

$ hadoop-daemon.sh start  datanode

上述两个步骤也可以合并成:start-dfs.sh –upgrade

可使用命令:hadoopdfsadmin -upgradeProgress status 查看升级进度

也可以通过查看namenode和datanode日志判断升级是否完毕。

至此,升级步骤完成,你可以查看升级之后的Hadoop2.4.1一样可以访问之前Hadoop1.3.0的数据,并没有什么错误。升级完成后,会在namenode的dfs.namenode.name.dir目录和dfs.datanode.data.dir目录下多出一个previous/ 目录。如果确认升级成功后,可以根据实际情况决定是否需要删掉这个目录,运行以下命令把以前的版本删掉:

$ hdfs    dfsadmin       -finalizeUpgrade

注意:-finalizeUpgrade不是升级必须的,所以根据实际情况去执行。一旦执行该命令,会删掉旧版本数据,以后就不能回滚了。

转载于:https://blog.51cto.com/yayang/1539044

hadoop版本升级到2.4.1相关推荐

  1. Hadoop-调优剖析

    1.概述 其实,在从事过调优相关的工作后,会发现其实调优是一项较为复杂的工作.而对于Hadoop这样复杂且庞大的系统来说,调优更是一项巨大的工 作,由于Hadoop包含Common.HDFS.MapR ...

  2. Hadoop性能调优概要说明

    Hadoop容易遇到的问题有:Namenode/jobtracker单点故障.HDFS小文件问题.数据处理性能等.为此 "Hadoop Performance Optimization&qu ...

  3. 第02讲:Hadoop 发行版选型和伪分布式平台的构建 2020/05/02 高俊峰(南非蚂蚁)

    本课时主要介绍 Hadoop 发行版选型以及伪分布式平台的构建. Hadoop 发行版介绍与选择 到目前为止,你应该初步了解了大数据以及 Hadoop 相关的概念了.本课时我将介绍 Hadoop 如何 ...

  4. 大数据讲课笔记2.3 初探Hadoop世界

    文章目录 零.学习目标 一.导入新课 二.新课讲解 (一)Hadoop的前世今生 1.Google处理大数据三大技术 2.Hadoop如何诞生 3.Hadoop主要发展历程 (二)Hadoop的优势 ...

  5. cdh sqoop 配置_相比于手动搭建集群,使用Ambari或者CDH的必要性

    1. Ambari简介 Apache Ambari是一种基于Web的工具,支持Apache Hadoop集群的供应.管理和监控.Ambari已支持大多数Hadoop组件,包括HDFS.MapReduc ...

  6. kerberos体系下的应用(yarn,spark on yarn)

    kerberos 介绍 阅读本文之前建议先预读下面这篇博客 kerberos认证原理---讲的非常细致,易懂 Kerberos实际上一个基于Ticket的认证方式.Client想要获取Server端的 ...

  7. cdh 简介_CDH 1、CDH简介

    1.Apache Hadoop 不足之处 • 版本管理混乱 • 部署过程繁琐.升级过程复杂 • 兼容性差 • 安全性低 2.Hadoop 发行版 • Apache Hadoop • Cloudera' ...

  8. CDH 和ambari之间的比较

    目前啊,都知道,大数据集群管理方式分为手工方式(Apache hadoop)和工具方式(Ambari + hdp 和Cloudera Manger + CDH). 1 什么是CDH,ambari? A ...

  9. 零基础入门大数据工程师从底层到应用必备技术汇总

    1.大数据平台 目前很火,数据源头,各种炫酷新技术,搭建hadoop.Hive.Spark.Kylin.Druid.Beam~,前提是你要懂Java,很多平台都是用Java开发的. 目前很多企业都把数 ...

最新文章

  1. HTML5和css3的总结
  2. maven 在 mac中的配置
  3. 手机设置两个操作:享受专注生活
  4. HTML DOM 事件
  5. select标签中option的显示隐藏控制(兼容IE)
  6. lock字段mysql_MySQL的lock tables和unlock tables的用法(转载)
  7. 动态图制作软件设计(二)
  8. maven -父子项目和多模块项目
  9. TensorFlow团队成员说:深度学习的未来,在单片机的身上
  10. 达梦数据库迁移oracle数据乱码,oracle迁移到达梦数据库之存储过程中char类型的不同处理...
  11. linux下如何关闭防火墙、查看当前的状态、开放端口
  12. CSS-----盒子模型
  13. 这是一篇优雅的Springboot2.0使用手册 1
  14. WinForm中的特殊窗体效果:渐变窗口和信息提示窗口
  15. 微信小程序后台管理系统(后端)笔记
  16. 伟库网与英特尔联手打造“用友伟库云”
  17. CARLA 笔记(01)— 基本架构、核心模块(Traffic Manager、Sensors、ROS bridge、Scenario runner)、高级功能、生态系统
  18. C语言如何输出100以内的质数?(带注释)
  19. Label mx条码软件导入Excel处理异常解决方法
  20. npm connect ETIMEDOUT

热门文章

  1. “针对即席工作负荷进行优化”如何影响你的计划缓存
  2. linux检测端口是否开放的3种命令
  3. Cacti设置流量阀值实现邮件报警
  4. 站点公司亚马逊砸了10亿也没能做成智能手机,技术是须要沉淀和积累的
  5. Android -- startActivityForResult和setResult
  6. 【翻译】在ruby中实现attributes的lazily initialization(惰性初始化)
  7. Java编程思想—第八九章
  8. Go实现Raft第三篇:命令和日志复制
  9. Gdevops广州站:大咖齐聚,从事运维和数据库的你不能错过!
  10. Java1.7ConcurrentHashMap类源码解析