084 HBase的数据迁移（含HDFS的数据迁移）

1.查找命令

　　bin/hadoop

2.启动两个HDFS集群

　　hadoop0，hadoop1，都是伪分布式的集群

3.启动hadoop3的zookeeper与hbase

　　注意点：需要开启yarn服务，因为distcp需要yarn。

3.在hdfs上可以看到hadoop3上有表s1.

4.官网

　　下面使用的情况是：不同版本的集群之间进行拷贝，建议查官网。

　　-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

5.拷贝hadoop3上的s1到hadoop0

　　bin/hadoop distcp -i hftp://192.168.91.133:50070/hbase/data/default/s1 hdfs://192.168.91.130:8020/s1

　　使用hadoop的distcp，因为hbase底层是HDFS，所以要拷贝底层数据，后面关于表，在使用hbase的修复。

　　hadoop的修复可以看命令bin/hdfs。

　　hbase的修复命令可以看bin/hbase。

5.删除在hadoop3中的元数据

6.在hadoop3的hdfs上同样不再有数据s1

7.重新把数据从hadoop0上迁移到hadoop3上

　　 bin/hadoop distcp -i hftp://192.168.91.130:50070/s1 hdfs://192.168.91.133:8020/hbase/data/default/s1

8.hbase中状况

9.修复元数据

　　bin/hbase hbck -fixAssignments -fixMeta

10.使用

084 HBase的数据迁移（含HDFS的数据迁移）相关推荐

2021年大数据Hadoop（十）：HDFS的数据读写流程
2021大数据领域优质创作博客,带你从入门到精通,该博客每天更新,逐渐完善大数据各个知识体系的文章,帮助大家更高效学习. 有对大数据感兴趣的可以关注微信公众号:三帮大数据目录 HDFS的数据读写流程 ...
Hadoop之HDFS读写数据流程
Hadoop之HDFS读写数据流程目录 HDFS写数据流程 HDFS读数据流程网络拓扑概念机架感知 1. HDFS写数据流程 HDFS写数据流程,如下图客户端通过Distributed Fil ...
Hbase实用技巧：全量+增量数据的迁移方法
摘要:本文介绍了一种Hbase迁移的方法,可以在一些特定场景下运用. 背景在Hbase使用过程中,使用的Hbase集群经常会因为某些原因需要数据迁移.大多数情况下,可以跟用户协商用离线的方式进行迁移 ...
java从hbase增量导出到,Hbase实用技巧：全量+增量数据的迁移方法
摘要:本文介绍了一种Hbase迁移的方法,可以在一些特定场景下运用. 背景在Hbase使用过程中,使用的Hbase集群经常会因为某些原因需要数据迁移.大多数情况下,可以跟用户协商用离线的方式进行迁移 ...
Sqoop（三）将关系型数据库中的数据导入到HDFS（包括hive，hbase中）
本文转自:https://www.cnblogs.com/yfb918/p/10855170.html 一.说明: 将关系型数据库中的数据导入到 HDFS(包括 Hive, HBase) 中,如果导入 ...
从零开始大数据--Hadoop、HDFS、MapReduce、HBase、Hive
文章目录概述 Hadoop HDFS HBase 实现原理 Regin服务器原理 HBase安装与使用 NoSQL数据库 MapReduce Hive 概述 IT领域每隔十五年就会迎来一次重大变革: ...
【大数据之Hadoop】三十一、HDFS集群迁移之Apache和Apache集群间数据拷贝
数据迁移场景: 冷热集群数据分类存储:集群数据整体迁移:数据的准实时同步,目的在于数据的双备份可用. 数据迁移需要考虑的因素: 带宽.性能.增量同步(原始数据文件进行了追加写.被删除或重命名) ...
oracle异构迁移mysql方案实施（含原理）——已迁移成功
从迁移方案的落地.迁移前准备.N次迁移演练.回归测试.性能调优整整用了四个月左右的时间(当然在此期间还包括其他项目及日常操作耗费工时).正式迁移到迁移成功.以及上线开服后性能稳定这些操作已经过去了一个 ...
海量吞吐的实时NoSQL—HBase的七剑和20151111圣战(数据脱敏版)
2015年11月11日,作为媒体大屏(dataV).消费记录.支付宝风控.物流详情.库存对账核心数据库的集团HBase,当天稳定运行,顺利完成了任务.并交出了非常漂亮的几项数据: QPS=1993W, ...

084 HBase的数据迁移（含HDFS的数据迁移）

084 HBase的数据迁移（含HDFS的数据迁移）相关推荐

最新文章

热门文章