hadoop集群迁移

集群迁移

主要是要找到两个集群中active状态的namenode

集群迁移不同于服务器之间的文件发送，在hdfs中，文件是以块的形式，只可以通过namenode访问文件，所以迁移时需要通过hadoop命令

主要命令是distcp

distcp有很多参数，如果是第一次备份，也就是目标集群中没有数据，第一次可以用overwrite，如果是定期备份，可以使用diff，如果是目标文件追加数据，可以用append

迁移命令

hadoop distcp -overwrite hdfs://host1:50070/apps/hive/warehouse hdfs://host2:50070/apps/hive/warehouse

错位信息：

地址端口有问题

查看两个机器的hosts

cat /etc/hosts

发现均配置了ip映射，由于同处一个内网环境，ip和端口互通

50070是namenode的http服务端口

8020是namenode的内部通信端口

修改迁移命令，再次提交

hadoop distcp -overwrite hdfs://host1:8020/apps/hive/warehouse hdfs://host2:8020/apps/hive/warehouse

控制台阻塞

由于cpu资源占用，任务提交后阻塞

hadoop集群迁移相关推荐

迁移到其他机器_有赞大数据离线集群迁移实战
‍‍ 点击关注"有赞coder" 获取更多技术干货哦- 作者:郭理想 & 任海潮部门:数据中台一.背景有赞是一家商家服务公司,向商家提供强大的基于社交网络的,全渠道经营 ...
RHEL 5下配置Hadoop集群：java.net.NoRouteToHostException: No route to host问题的解决
最近,要把原来基于Ubuntu下配置的Hadoop集群迁移到RHEL 5下,结果在启动的时候,出现了莫名其妙的问题: Namenode进程启动起来了,但是在登录到Datanode上启动集群slaves ...
数据中心安全风控_平安银行Hadoop集群跨数据中心迁移项目告捷项目骨干专访
Hadoop集群跨数据中心迁移平安银行东莞数据中心建成平安银行科技中心零售大数据团队平安银行科技中心科技运营中心群迁告捷经过平安银行科技运营中心和大数据团队的不懈努力,作为平安银行AI战略转 ...
hadoop 集群间数据迁移
hadoop集群之间有时候需要将数据进行迁移,如将一些保存的过期文档放置在一个小集群中进行保存. 使用的是社区提供的功能,distcp.用法非常简单: hadoop distcp hdfs://nn1 ...
同程旅行Hadoop集群跨机房迁移实践
本文作者:郭飞.现任同程旅行技术专家. Apache Hadoop.Hive.Spark contributor 背景随着同程旅行业务和数据规模越来越大,原有的机房不足以支撑未来几年的扩容需求,同 ...
【大数据之Hadoop】三十一、HDFS集群迁移之Apache和Apache集群间数据拷贝
数据迁移场景: 冷热集群数据分类存储:集群数据整体迁移:数据的准实时同步,目的在于数据的双备份可用. 数据迁移需要考虑的因素: 带宽.性能.增量同步(原始数据文件进行了追加写.被删除或重命名) ...
【Big Data】HADOOP集群的配置（一）
Hadoop集群的配置(一) 摘要: hadoop集群配置系列文档,是笔者在实验室真机环境实验后整理而得.以便随后工作所需,做以知识整理,另则与博客园朋友分享实验成果,因为笔者在学习初期,也遇到不少问 ...
完美避坑！记一次Elasticsearch集群迁移架构实战
作者介绍李猛(ynuosoft),Elastic-stack产品深度用户,ES认证工程师,2012年接触Elasticsearch,对Elastic-Stack开发.架构.运维等方面有深入体验,实践 ...
软件架构自学笔记----分享“去哪儿 Hadoop 集群 Federation 数据拷贝优化”
去哪儿 Hadoop 集群 Federation 数据拷贝优化背景去哪儿 Hadoop 集群随着去哪儿网的发展一直在优化改进,基本保证了业务数据存储量和计算量爆发式增长下的存储服务质量.然而,随着 ...

hadoop集群迁移

hadoop集群迁移相关推荐

最新文章

热门文章