Hadoop之Hbase安装和配置
文章目录
- Hadoop之HBase安装和配置
- 1、确保Hadoop已安装/配置
- 1.1 启动Hadoop
- 1.2 查看Hadoop版本(要兼容Hbase)
- 2、HBase安装
- 2.1 下载Hbase-2.4.14
- 2.2 解压并改名
- 2.3 配置环境变量
- 2.3.1 编辑 ~/.bashrc 文件
- 2.3.2 添加HBase权限
- 2.3.3 查看HBase版本,判断是否安装成功
- 3、HBase伪分布模式配置
- 3.1 配置hbase-env.sh
- 3.2 配置hbase-site.xml
- 3.3 测试运行HBase
- 4、Bug 1
- 5、Bug 2
- 6、Bug 3
Hadoop之HBase安装和配置
1、确保Hadoop已安装/配置
在进行HBase安装和配置之前,首先要确保Hadoop已经安装/配置,并且可以成功运行:
如还没配置好Hadoop,请参考:基于Linux的Hadoop伪分布式安装
1.1 启动Hadoop
cd /usr/local/hadoop/sbin # 进入该目录
start-all.sh # 启动服务
jps # 查看进程(6个为正常启动)
1.2 查看Hadoop版本(要兼容Hbase)
hadoop version
进入Apache官网查看版本兼容情况:https://hbase.apache.org/book.html#hadoop
上述已查看Hadoop版本为3.2.4,所以可以安装Hbase-2.3.x或Hbase-2.4.x
2、HBase安装
2.1 下载Hbase-2.4.14
清华大学镜像站:https://mirrors.tuna.tsinghua.edu.cn/apache/hbase/
在Linux下载速度较慢,可以先在Windows中下载该文件,然后使用Xshell拖进Linux中即可:Windows文件直接上传到Linux
2.2 解压并改名
解压安装包hbase-2.4.14-bin.tar.gz至路径 /usr/local,命令如下:
sudo tar -zxf ~/下载/hbase-2.4.14-bin.tar.gz -C /usr/local
将解压的文件名hbase-2.4.14-bin.tar.gz改为hbase,以方便使用,命令如下:
sudo mv /usr/local/hbase-2.4.14 /usr/local/hbase
2.3 配置环境变量
将hbase下的bin目录添加到path中,这样,启动hbase就无需到/usr/local/hbase目录下,大大的方便了hbase的使用。
2.3.1 编辑 ~/.bashrc 文件
sudo vi ~/.bashrc
请在~/.bashrc
文件尾行添加如下内容:
编辑完成后,再执行source
命令使上述配置在当前终端立即生效,命令如下:
source ~/.bashrc
2.3.2 添加HBase权限
cd /usr/local
sudo chown -R hadoop ./hbase #将hbase下的所有文件的所有者改为hadoop,hadoop是当前用户的用户名。
2.3.3 查看HBase版本,判断是否安装成功
/usr/local/hbase/bin/hbase version
应该是成功了吧?
3、HBase伪分布模式配置
HBase有三种运行模式,单机模式、伪分布式模式、分布式模式。以下先决条件很重要,如果没有配置好,就会报错:
jdk
Hadoop(伪分布式模式需要)
SSH
3.1 配置hbase-env.sh
vi /usr/local/hbase/conf/hbase-env.sh
配置JAVA_HOME,HBASE_CLASSPATH,HBASE_MANAGES_ZK。
HBASE_CLASSPATH设置为本机Hadoop安装目录下的conf目录(即/usr/local/hadoop/conf
)
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export HBASE_CLASSPATH=/usr/local/hadoop/conf
export HBASE_MANAGES_ZK=true
3.2 配置hbase-site.xml
用vi打开并编辑hbase-site.xml,命令如下:
vi /usr/local/hbase/conf/hbase-site.xml
修改hbase.rootdir,指定HBase数据在HDFS上的存储路径;
将属性hbase.cluter.distributed设置为true;
假设当前Hadoop集群运行在伪分布式模式下,在本机上运行,且NameNode运行在9000端口。
<configuration><property><name>hbase.rootdir</name><value>hdfs://localhost:9000/hbase</value></property><property><name>hbase.cluster.distributed</name><value>true</value></property>
</configuration>
hbase.rootdir指定HBase的存储目录;hbase.cluster.distributed设置集群处于分布式模式。
3.3 测试运行HBase
第一步:首先登陆ssh,之前设置了无密码登陆,因此这里不需要密码;
第二步:再切换目录至/usr/local/hadoop
;
第三步:启动hadoop(如果已经启动hadoop请跳过此步骤)。
ssh localhost
cd /usr/local/hadoop
./sbin/start-dfs.sh
输入命令jps,能看到NameNode,DataNode和SecondaryNameNode都已经成功启动,表示hadoop启动成功,如下:
切换目录至/usr/local/hbase
,启动HBase:
cd /usr/local/hbase
bin/start-hbase.sh
启动成功,输入命令jps,看到以下界面说明Hbase启动成功:
进入Shell界面:
停止HBase运行:
bin/stop-hbase.sh
4、Bug 1
参考博客:https://blog.csdn.net/weixin_42181264/article/details/112168270
错误如下:
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/usr/local/hadoop/share/hadoop/common/lib/slf4j-reload4j-1.7.35.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/usr/local/hbase/lib/client-facing-thirdparty/slf4j-reload4j-1.7.33.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.slf4j.impl.Reload4jLoggerFactory]
说明这是jar包冲突,分别为:
SLF4J: Found binding in [jar:file:/usr/local/hadoop/share/hadoop/common/lib/slf4j-reload4j-1.7.35.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/usr/local/hbase/lib/client-facing-thirdparty/slf4j-reload4j-1.7.33.jar!/org/slf4j/impl/StaticLoggerBinder.class]
移除其中一个jar包即可:
cd /usr/local/hadoop/share/hadoop/common/lib
rm slf4j-reload4j-1.7.35.jar
运行结果:
问题解决!!!
5、Bug 2
参考博客:https://blog.csdn.net/Software_E/article/details/121390033
错误如下:
/usr/local/hadoop/libexec/hadoop-functions.sh: 行 2366: HADOOP_ORG.APACHE.HADOOP.HBASE.UTIL.GETJAVAPROPERTY_USER:无效的变量名
/usr/local/hadoop/libexec/hadoop-functions.sh: 行 2461: HADOOP_ORG.APACHE.HADOOP.HBASE.UTIL.GETJAVAPROPERTY_OPTS:无效的变量名
解决方法:
打开 ~/hbase-2.3.7/conf (目录根据自己的目录进行修改)目录下的hbase-env.sh文件中进行编辑:
解除注释!
运行结果:
问题解决!!!
6、Bug 3
参考博客:https://blog.csdn.net/qq_44642612/article/details/104379893
错误如下:
2022-10-12 16:28:02,575 WARN [main] util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
解决方法:
进入/usr/local/hadoop/etc/hadoop/log4j.properties
文件中,在文件末尾添加指令:
cd /usr/local/hadoop/etc/hadoop
sudo vi log4j.properties
log4j.logger.org.apache.hadoop.util.NativeCodeLoader=ERROR
运行结果:
好像没有解决,警告也不碍事?
Hadoop之Hbase安装和配置相关推荐
- Hadoop、Hbase安装教程保姆级教程
Hadoop.Hbase安装教程 准备Centos系统 设置网络 安装java环境 配置SSH免密登录 安装hadoop 修改Hadoop相关命令执行环境 修改Hadoop配置 运行和测试 Web界面 ...
- Hadoop集群安装及其配置(三台虚拟机)
Hadoop集群安装及其配置(三台虚拟机) 利安装配置前准备--安装虚拟机 利用cat查看配置文件 修改主机名称 配置IP映射 配置网卡设备的mac地址 Xshell的安装与配置 ssh的配置 JDK ...
- 第六天 - 安装第二、三台CentOS - SSH免密登陆 - hadoop全分布式安装、配置、集群启动
第六天 - 安装第二.三台CentOS - SSH免密登陆 - hadoop全分布式安装.配置.集群启动 第六天 - 安装第二.三台CentOS - SSH免密登陆 - hadoop全分布式安装.配置 ...
- 一脸懵逼学习基于CentOs的Hadoop集群安装与配置(三台机器跑集群)
1:Hadoop分布式计算平台是由Apache软件基金会开发的一个开源分布式计算平台.以Hadoop分布式文件系统(HDFS)和MapReduce(Google MapReduce的开源实现)为核心的 ...
- 开发笔记 – Spring Boot集成HBase(Hadoop和Hbase安装)
最近在重新整理搜书吧(一个做图书比价的平台)的系统架构,目前图书产品数量超过了200万条.各种数据加起来超过40G了,使用Mysql数据库存储服务器吃不消,于是考虑使用HBase存储大部分数据. 一. ...
- Linux中Hadoop的Hbase安装教程
学习目标: 1.学习HBase的安装流程 2.掌握HBase的工作原理 实验平台:章鱼互联网学院(https://www.ipieuvre.com/) 相关知识: HBase是一个分布式的,面向列的开 ...
- Hadoop LZO的安装与配置
2019独角兽企业重金招聘Python工程师标准>>> Hadoop支持好几种压缩算法,包括: Bzip2 Gzip DEFLATE Hadoop提供这些算法的Java实现,所以可以 ...
- Ubuntu16.04下Hadoop的本地安装与配置
一.系统环境 os : Ubuntu 16.04 LTS 64bit jdk : 1.8.0_161 hadoop : 2.6.4 部署时使用的用户名为hadoop,下文中需要使用用户名的地方请更改为 ...
- Hadoop集群安装与配置
转载自Hadoop集群安装配置教程_Hadoop2.6.0_Ubuntu/CentOS 本教程讲述如何配置 Hadoop 集群,默认读者已经掌握了 Hadoop 的单机伪分布式配置,否则请先查看Had ...
- Hbase安装及配置
本篇文章有些部分与前一篇文章有关,如有不清楚的地方,可在以往文章中寻找,或给我留言哈,我一定会及时回复的. (1)在官网下载Hadoop对应的Hbase的版本,下载完成之后,进行解压,并将其解压之后的 ...
最新文章
- Unity扩展编辑器二
- 机器学习(3.文本数据的特征抽取(第一种))
- 学习笔记:AC自动机
- java中钩子方法 addShutdownHook 学习使用
- linux内核 lts长期演进,Linux Kernel 4.19 和 5.4 生命周期延长至 6 年
- C语言归并排序(合并排序)
- mysqll索引实验
- 既然选择了远方,便只顾风雨兼程……
- 【算法】-8大排序算法总结-Python
- JScript.net
- 『 再看.NET7』看看required属性有什么不同
- JDK 16 + eclips 安装配置
- 浅谈社群运营的2种抽奖玩法
- 关键业务(mission-critical)系统
- supervisor安装
- 如何让veil uVision5显示行
- 用Python将excel数据插入到MySQL报错(1265, Data truncated for column ‘num‘ at row 1)
- 走进GBase 8s之高可用功能(二)HAC灾备高可用
- Java程序员的认证--SUN认证
- 什么是PR值?提高PR值有哪些方法?
热门文章
- 使用JSON和Jersey的Java RESTful Web服务
- 推荐5款优质的黑科技软件,好不好用你来判断
- oa是计算机辅助系统吗,oa是管理系统吗
- 基于websocket单台机器支持百万连接分布式聊天(IM)系统
- 开心群管 (云机器人群管)网页管理QQ群
- WEB前端性能优化总结——如何提高网页加载速度
- 如何选择适合的微信号码开通状态检测工具
- word上怎么把图片拼接到一起_图片合并,WORD如何将文字与图片合并
- SVPWM调制的simulink仿真
- java移动文件导致tomcat死掉_利用平台自带的tomcat作为服务 当上传文件失败后服务总死掉...