第二次尝试修复Hbase2出现Region不一致，使用 HBCK2

spark任务中入hbase任务全部失败了，查看日志发现hbase出现问题

报错日志：

在hbase的log中看到报错
Call queue is full on xxxx,16000,1611197476326, too many items queued
修改了配置文件，增加了队列数量

     <property><name>hbase.regionserver.handler.count</name><value>200</value></property><property><name>hbase.regionserver.metahandler.count</name><value>80</value></property>

参数说明：https://hijiazz.gitee.io/hbase-callqueue-isfull/
2. 并且zookeeper好像挂掉了，后来重启zk。

然后重启hbase后出现了region不一致的情况。

尝试进行修复

前提：HDFS fsck 确保 hbase跟目录下文件没有损坏丢失，如果有，则先进行坏block 移除。
步骤1. 看webUI中lock页面是否有锁住的producer
先尝试bypass -or +pid ，将父producer解锁，再bypass -o将子producer解锁
步骤2. 看webui中是否出现RIT卡在了OPENNING/CLOSING状态的region,使用assigns -o 进行重分配，生成新的producer
步骤3. 再次查看lock中是否出现新的，重复步骤1和2，直到RIT消失或lock中不再出现新的。
步骤4. 使用hbase hbck --details [表名] 来查看表状态
步骤5. 如果日志中出现status=inconsistencies证明还存在region不一致，搜索ERROR(在vim命令模式输入/ERROR来搜索)查看信息，每个ERROR都有错误说明，根据说明进行修复。
步骤6. 可能出现几种情况：
1. hdfs上region不存在但是元数据存在：对regionID进行assigns或extraRegionsInMeta --fix进行修复
2. hdfs上region存在但是元数据不存在，尝试重建元数据 addFsRegionsMissingInMeta
3. not deployed on any region server，尝试assign此region
4. region元数据在dn1但实际是在dn2上启动的，尝试unassign在assigns
实际上面的解决办法都不一定能解决，实际如何解决的有待商榷。
根据hbck2 -help 来查看帮助文档，看看其中的命令在什么情况下使用，然后就操作就行了。
最终解决的办法是hbase hbck后还存在5个region不一致，后来将他们在hdfs上删除了(会丢失数据)，然后重新assign这些region，(这里可能会存在一定时间的延迟，多执行几次hbase hbck和assigns命令)最终hbase hbck后status=ok了，不一致的region特别多或者数据不可以删除能修复尽量去修复，总共修复了15/6个小时，还是在第二天将最后几个无法处理掉的region删除后集群才恢复正常的，本来是存在56个不一致的region的。
步骤7. 如果出现数据空洞，There is a hole in the region chain between. You need to create a new .regioninfo and region dir in hdfs to plug the hole
三个解决办法
1. 使用fixMeta命令来重建空洞和修复region重叠，(使用后没效果)
2. 删除HDFS对应region下recovered.edits，然后执行assigns之类操作，注意会丢失部分数据,（我使用的这个，只出现了一两个region数据空洞，并且数据丢一点可以接受），网上博客说的删除所有表的尽量不要去操作，我这里只是删除了出现数据空洞的region下的recovered.edits
3. 增加配置后重启集群：提高regionserver的线程数量，以此来提高rs处理region的能力(没测试)

<property>  <name>hbase.regionserver.executor.openregion.threads</name> <value>100</value>
</property>

步骤8. 尽量阅读hbck2的help文档，理解一下里面命令的使用准则，在根据hbase hbck中的ERROR信息对应进行修复，里面的命令在解决的过程中基本都尝试过了，但是对其理解的还是不透，后续还要在研究一下，如果实在是尽力了也无法修复，那就删除它吧，目前只能修复到这种地步了，经过16个小时的尝试最后剩余了5个region只能删除了，然后问题就解决掉了，HBCK2修复元数据网上的资料实在是太少了，只能摸着石头过河，不断成长。

参考/引用博客：

官网文档：https://github.com/apache/hbase-operator-tools/tree/master/hbase-hbck2
队列参数修改：https://hijiazz.gitee.io/hbase-callqueue-isfull/
hbck2使用：https://www.modb.pro/db/54575
Hbase修复博客：https://cloud.tencent.com/developer/article/1359221 它里面的连接也可以一并看下

第二次尝试修复Hbase2出现Region不一致，使用 HBCK2 - 2021.11.15相关推荐

第一次尝试修复Hbase2出现Region不一致，HBCK2
出现问题的原因 Hadoop中报错,集群中某节点的一块磁盘损坏了,运维修复后,hbase出现了region不一致的情况. 修复HBCK2 首先查看web ui中被lock的producer,先释放父r ...
杰奇数据库mysql_杰奇模板出现Unable to save result set in…可尝试修复数据库
使用当出现这个报错的时候,可以通过尝试修复数据库来解决,一般情况下都可以解决. 其他需要修复数据库的情况请参考一下方法:(别处抄来的) 网站前台突然没数据显示了,但网页的框架还在,就是数据库里的数据 ...
GDCM：尝试修复损坏的J2K / DICOM的测试程序
GDCM:尝试修复损坏的J2K / DICOM的测试程序 GDCM:尝试修复损坏的J2K / DICOM的测试程序 GDCM:尝试修复损坏的J2K / DICOM的测试程序 #include &quo ...
ppt打不开，显示发现文件中的内容有问题。尝试修复此演示文稿无果！
ppt打不开,显示发现文件中的内容有问题.尝试修复此演示文稿无果! 1.首选推荐大家一个免费下载PPT模板的网站 2.搜索主题并下载 3.解决PPT打不开问题 1.首选推荐大家一个免费下载PPT模板的 ...
解决方案：ppt打不开，显示发现文件中的内容有问题。可尝试修复此演示文稿
解决方案:ppt打不开,显示发现文件中的内容有问题.可尝试修复此演示文稿参考文章: (1)解决方案:ppt打不开,显示发现文件中的内容有问题.可尝试修复此演示文稿 (2)https://www.cn ...
DevpTips【powerpoint】发现打不开，显示发现文件中的内容有问题。可尝试修复此演示文稿。
powerpoint发现打不开,显示发现文件中的内容有问题.可尝试修复此演示文稿. 遇到问题 powerpoint发现打不开,显示文件中的内容有问题.可尝试修复此演示文稿,如下: 解决可以解决 pp ...
PPT打开出错/可尝试修复此演示文稿
从百度文库下载的PPT,打开时提示发现问题,PowerPoint可尝试修复此演示文稿.如果您信任此演示文稿的来源,请单击"修复". 解决办法: 选中PPT,单击右键,选择" ...
Office问题：PowerPoint发现.pptx 中的内容有问题。PowerPoint可尝试修复此演示文稿。
当用office的PowerPoint软件打开ppt/pptx文件显示: 发现XXX.pptx 中的内容有问题.PowerPoint可尝试修复此演示文稿. 如果PPT是从网上下载的模板等,可尝试如下解 ...
ppt打不开,显示发现文件中的内容有问题。可尝试修复此演示文稿
ppt打不开,显示发现文件中的内容有问题.可尝试修复此演示文稿 PPT发现要打开的文件有问题,修复后无法打开该文件解决方法: 主要是因为文件是网络下载的,office自动锁定了文件(默认不可编辑). ...

第二次尝试修复Hbase2出现Region不一致，使用 HBCK2 - 2021.11.15