记一次Hbase数据迁移和遇到的问题

因为集群不互通，所以采用手动方式迁移

1、下载目标集群数据

hadoop fs -get /apps/hbase/data/data/default/*c4be21d3000064c0 /mnt/data

2、远程复制数据，可以压缩一下

scp ***

3、上传数据到HDFS，一定要切换到hbase用户，不然会有错误

su hdfs
hadoop fs -put /app/hbase/* /apps/hbase/data/data/default/

4、修复元数据等

hbase hbck 只做检查
hbase hbck -fixMeta 根据region目录中的.regioninfo，生成meta表
hbase hbck -fixAssignments 把meta表中记录的region分配给regionserver
hbase hbck -fixHdfsOrphans 修复.regioninfo文件hbase hbck -repair  表名

遇到的问题：

There is a hole in the region chain between and . You need to create a new .regioninfo and region dir in hdfs to plug the hole

Found inconsistency in table

最后发现是上传数据到hdfs是没有使用hbase用户，修改文件owner后重新修复就好了

hadoop fs -chown -R hbase:hdfs /apps/hbase/data/data/default

hbase hbck -repair 表名

转载于:https://www.cnblogs.com/lianglianggege/p/9564605.html

记一次Hbase数据迁移和遇到的问题相关推荐

HBase 数据迁移
最近两年负责 HBase,经常被问到一些问题, 本着吸引一些粉丝.普及一点HBase 知识.服务一点阅读人群的目的,就先从 HBase 日常使用写起,后续逐渐深入数据设计.集群规划.性能调优.内核源码 ...
hive和hbase数据迁移
数据迁移文章目录数据迁移一.数据分析 1. Hive数据分析 2. Hbase数据分析 3. Kudu数据分析二.数据迁移设 1. Hive数据迁移设计 2. Hbase数据迁移设计 3. K ...
HBase数据迁移到Kafka实战
1.概述在实际的应用场景中,数据存储在HBase集群中,但是由于一些特殊的原因,需要将数据从HBase迁移到Kafka.正常情况下,一般都是源数据到Kafka,再有消费者处理数据,将数据写入HBas ...
伪分布式hbase数据迁移汇总
https://www.jianshu.com/p/990bb550be3b hbase0.94.11(hadoop为1.1.2,此电脑ip为172.19.32.128)向hbase1.1.2 (ha ...
hbase数据迁移到hive中
描述: 原先数据是存储在hbase中的,但是直接查询hbase速度慢(hbase是宽表结构),所以想把数据迁移到hive中: 1.先hbase 和 hive创建外部表链接, 可以在hive直接查询: ...
记一次大规模数据迁移和加密
公司的核心业务合作伙伴淘宝网,最近出现泄漏用户信息的现象,找了好久找不到根源,于是乎,淘宝那边决定对所有敏感数据进行加密,从出口和入口都走密文,于是乎,我们的工作量就来了. 我们的一个底单数据库,存储 ...
记nexus2升级nexus3数据迁移
版本 nexus-2.14 nexus-3.31 数据迁移方法一: 1.打开nexus2访问页面,创建upgrade(如果存在,直接进行下一步) 2.存在upgrade点击在下面的status找到 ...
【转】记一次 ClickHouse 数据迁移
转载地址:https://zhuanlan.zhihu.com/p/220172155 背景大约在 2018 年 8 月份开始正式接触 ClickHouse,当时机房没有合适的服务器,就在 Azur ...
记一次MySQL数据迁移到SQLServer全过程

记一次Hbase数据迁移和遇到的问题

记一次Hbase数据迁移和遇到的问题相关推荐

最新文章

热门文章