Hbase安装学习中遇到问题解决

问题1

Hbase 使用启动时master时在进程中HMaster短暂的出现几秒后立即结束进程

解决方案：

最主要的原因是因为hadoop的版本问题，不同版本的hadoop的NameNode默认端口是不一样的可能是9000或者8020

Hbase中的根目录端口应该改成与hadoop的默认端口一样

hadoop中的默认端口

问题2

启动regionserver之后，进程也是短暂出现就消失

解决方案：

通过查看hbase的regionserver日志看到，是节点时间超时了。集群之间的节点时间不同步，会导致其启动失败。因此首先推荐在hadoop中设置同步时间服务。

或者可以修改hbase属性：hbase.master.maxclockskew 设置更大的值

<property>
<name>hbase.master.maxclockskew</name>
<value>180000</value>
<description>Time difference of regionserver from master</description>
</property>

问题3

停止hbase服务的时候出现：

no zookeeper to stop because no pid file /tmp/hbase-root-zookeeper.pid

解决方案：由于zookeeper是由自己手动启动的关闭的，hbase无法监测其运行的状况，就不能完成对zookeeper的关闭，但是配置文件中设置由hbase关闭。

修改hbase配置文件hbase-env.sh 将HBASE_MANAGES_ZK设置为false

更换Hbase版本遇到的问题

问题1

由于使用的时hadoop3.x版本，与hbase1.x版本不兼容，在更换hbase2.x版本之后，在shell命令行输入命令list遇到问题：

ERROR: org.apache.hadoop.hbase.PleaseHoldException: Master is initializingat org.apache.hadoop.hbase.master.HMaster.checkInitialized(HMaster.java:2739)at org.apache.hadoop.hbase.master.HMaster.disableTable(HMaster.java:2310)at org.apache.hadoop.hbase.master.MasterRpcServices.disableTable(MasterRpcServices.java:802)at org.apache.hadoop.hbase.shaded.protobuf.generated.MasterProtos$MasterService$2.callBlockingMethod(MasterProtos.java)at org.apache.hadoop.hbase.ipc.RpcServer.call(RpcServer.java:395)at org.apache.hadoop.hbase.ipc.CallRunner.run(CallRunner.java:133)at org.apache.hadoop.hbase.ipc.RpcExecutor$Handler.run(RpcExecutor.java:338)at org.apache.hadoop.hbase.ipc.RpcExecutor$Handler.run(RpcExecutor.java:318)

报错分析：

可能由于集群中的节点时间不同步，但是通过date命令查看时间是同步的。

所以只可能是在更换hbase版本时，HDFS和Zookeeper中的Hbase没有删除，所以需要将其删除

删除zookeeper下的hbase

# 切换到zookeeper的bin目录下
cd /opt/module/zookeeper/bin# 执行 ./zkCli.sh 命令./zkCli.sh
# 使用 deleteall /hbase 删除zookeeper中的所有 hbase的目录deleteall /hbase

重启Hbase
删除HDFS中的hbase目录
```
#在hadoop的根目录下运行
hadoop fs -rm -r /hase
```
问题2

hbase正常启动，但是在创建表命令时报错

因为重新安装hbase时，旧的元数据信息没有删除，使用zookeeper删除后hbase元数据后重启hbase即可。
在master主机上，进入zookeeper的bin目录，运行:
```
#进入zooker客户端
zkCli.sh -server localhost:2181
#查看hbase下文件
ls /hbase
#删除元数据信息
deleteall /hbase/meta-region-server
```
关闭hbase服务，重新启动

HBase2.4.11和Hive3.1.2集成时遇到问题

首先在启动hive之前必须通过脚本或者手动启动metastore

问题

通过bin/hive启动hive时，命令行一直刷出WARN,INFO的日志信息，并且不出现hive（default）

方式1（可以尝试一下)

经过资料查询，有人说是因为hive3.1.2和hbase 2.4.11不兼容，应该换版本低一点的hbase。但是

更换hbase版本比较麻烦，没有采用这种解决方法

方法二（成功解决）

在Hive的安装目录下的conf目录下创建log4j.properties的日志配置文件，日志等级为WARN

编辑log4j.properties:

log4j.rootLogger=WARN, CA
log4j.appender.CA=org.apache.log4j.ConsoleAppender
log4j.appender.CA.layout=org.apache.log4j.PatternLayout
log4j.appender.CA.layout.ConversionPattern=%-4r [%t] %-5p %c %x - %m%n

再次启动hive，大量日志消失

Hbase学习中遇到的问题相关推荐

HBASE学习使用经验
问题导读: 1. NOSQL是如何产生的以及Hbase 在NOSQL中的地位如何? 2. Hbase框架是如何架构出来的 ? 3. Hbase 是如何检索一条数据以及检索时间复杂度是多少? 4. 如何 ...
Hbase学习笔记(概念和搭建)
Hbase学习笔记 1.hbase的基本介绍简介 hbase是bigtable的开源java版本,是建立在hdfs之上,提供给高可靠性,高性能,列存储,可伸缩,实时读写的nosql的数据库系统,它介 ...
大数据学习中应该确立怎样的学习目标
相信所有想要学习或是正在学习大数据相关知识的学员都是不满足于现状,对未来的职业发展有着很高追求的有志青年.那些对大数据学习抱有十足热情的人完成他们的职业理想.大数据学习会涉及到许多课程,每一项课程都不 ...
【HBase学习笔记-尚硅谷-Java API shell命令谷粒微博案例】
HBase学习笔记 HBase 一.HBase简介 1.HBase介绍 2.HBase的逻辑结构和物理结构 3.数据模型 4.基本架构二.快速入门 1.配置HBase 2.命令三.API 1.获取 ...
HBase学习01--Hbase的安装
HBase学习01–Hbase的安装一.单机模式: 1.1 解压软件包 tar -zxvf hbase-1.1.3-bin.tar.gz 1.2 配置JAVA_HOME环境变量 cd /usr/lo ...
Hbase学习文档（超详细单机安装）
Hbase学习文档(超详细单机安装) 一.前言 1.1简述本文分为五个部分:linux主机名的设置.jdk的安装.hadoop的安装.单机模式下hbase的安装.hbase的shell常用命令及ja ...
Hbase学习笔记（一）
HBASE介绍特点: 1.大:行列可存储的数据量大 2.面向列:面向列簇的存储和权限控制,列簇单独索引. 3.稀疏:对于为空的列,并不占用存储空间(物理存储以row key,版本号和单独列簇组成对应 ...
深度学习中的一些英文解释
A: (1)anchors:锚点.(anchors(锚点)定义在RPN网络中) B: (1)bounding box:预测边界框. (2)Botton-up 3D proposal generatio ...
深度学习中的优化算法之MBGD
之前在https://blog.csdn.net/fengbingchun/article/details/75351323 介绍过梯度下降,常见的梯度下降有三种形式:BGD.SGD.MBGD,它们的 ...

Hbase学习中遇到的问题