从hadoop-0.20.2升级到hadoop-1.0.3

由于要支持hbase0.92.0的一些新特性，需要对现有的hadoop进行升级。升级流程如下：

　　1、关闭Hbase、Hive service、关闭hadoop集群；
　　2、执行hadoop dfsadmin -upgradeProgress status，显示There are no upgrades in progress，表示当前没有升级动作；
　　3、执行hadoop fs -lsr > /usr/local/cluster/namenode.log，执行hadoop fsck / > /usr/local/cluster/fsck.log；生成这个两个文件进行集群升级前后的对比工作；
　　4、下载hadoop-1.0.3.tar.gz，并解压到/usr/local/；
　　5、关闭hadoop集群，copy原来版本的master、slave、mapred-site.xml、core-site.xml、farischeduler.xml、hdfs-site.xml文件到新版本的conf目录中；
　　6、手动修改hadoop-env.sh，修改java路径、pid路径；
　　7、备份原来的hadoop存放namenode数据的目录目录，备份hadoop的namesecondary目录；
　　8、配置新的环境变量，并使用source /etc/profile使之生效；
　　9、执行start-dfs.sh -upgrade进行升级，可通过hadoop dfsadmin -upgradeProgress status查看状态，出现Upgrade for version -* has been completed表示升级成功；
　　10、把hadoop分发到各机器，并按照主服务器的配置进行配置；
　　11、启动hadoop集群，并执行hadoop fs -lsr >/usr/local/cluster/namenodenew.log、hadoop fsck / > /usr/local/cluster/fscknew.log生成文件；
　　12、对比升级前后文件，看是否有问题；
　　13、检查通过后hadoop dfsadmin -finalizeUpgrade升级完毕；不通过可使用stop-all.sh、start-dfs.sh -rollback进行回滚；

有些比较琐碎的步骤没写出来，本次升级花了我2个小时。

转载于:https://www.cnblogs.com/frady/archive/2012/09/13/2683991.html

从hadoop-0.20.2升级到hadoop-1.0.3相关推荐

oracle 10.2 64位,Oracle 10.2.0.5 x64升级到11.2.0.3 x64
说明:11g数据库现在新部署的数量也很多的,对于10g数据库,现在整理一下10g到11g的升级过程.10.2.0.2以上版本才能升级到11.2.0.3版本. 升级说明:10.2.0.5(64)-> ...
手动升级oracle,ORACLE 10.2.0.1手动升级到10.2.0.4
ORACLE 10.2.0.1手动升级到10.2.0.4 1.解压zip包以及查看目录权限 p6810189_10204_Linux-x86-64.zip oracle@single-10g:/u01 ...
假设电话收费标准为: (1)国际长途1.00元/分钟，(2) 国内长途0.60元/分钟，(3)市话前3分钟0.20元，3分钟以后0.10元/分钟。现假设某话单文件中每条话单包含如下信息:通话日期(10
你好,帮我做个C语言题目你好,我是Assistant.很高兴为您做题. 请提供题目的完整题面,并提供任何相关的输入.输出.约束条件等信息. 如果您有任何其他问题,请随时与我联系.我将竭诚为您服务. ...
oracle 9.2.0.2,在RedHat enterprise server 3 安装oracle9i 2.0.0.1 并升级到9.2.0.6
oracle9i 2.0.4上个月从oracle网站下载没有安装在els3上. 参考了网上的一些文章,并根据文章的提示找了一些资料和补丁,完成了这次的安装.[@more@] 1.安装RedHat EL ...
mysql8.0.20 64位安装教程_MySQL8.0.20压缩版本安装教程图文详解
1.mysql下载地址: http://ftp.ntu.edu.tw/mysql/downloads/mysql-cluster-8.0/ 2.解压以后放在一个文件夹里面,创建my.ini配置文件: ...
Oracle 11.2.0.1 rac升级到11.2.0.4
升级过程分为三部分: 1.升级grid 2.升级rdbms 3.升级数据字典前期准备: 新建grid_home和oracle_home 升级前升级后版本 11.2.0.1 11.2.0.4 gr ...
oracle 12.1.0.2.0 通过 DBBP 升级到 12.1.0.2.190416
os: centos 7.4 db: oracle 12.1.0.2 oracle 12.1.0.2 开始提供了 DBBP 的升级方式(Database Proactive Bundle Patch) ...
oracle 之安装10.2.0.1 且升级到 10.2.0.4
一. centos 6.5 安装 oracle 10.2.0.1 1.安装操作系统,选择桌面环境 2.配置本地yum源 , 可参考 http://blog.csdn.net/zhang12345645 ...
MySQL卸载5.重新安装 8.0.20教程(windows 64位)
1.卸载旧的MySQL(5.),旧版安装时为压缩包文件安装参考:如何把旧版的mysql卸载干净并安装新版mysql?(若有侵权,请私聊删除) 1.先将数据进行备份: 快捷键win+R,输入cmd,回 ...
怎么安装mysql8.0.20_Mysql 8.0.20安装教程
MySQL最新版本8.0.20正式发布.与之前8.0的系列版本一样,这次的发行版除了包含缺陷修复,也同样包括新功能:关键字:hash join.InnoDB双写缓冲.二进制日志事务压缩等. 安装教程( ...

从hadoop-0.20.2升级到hadoop-1.0.3

从hadoop-0.20.2升级到hadoop-1.0.3相关推荐

最新文章

热门文章