Hadoop渐进九：HBase配置及简单应用

HBase服务器体系架构遵从主从服务器架构：一个HBase Master和若干个HRegion服务器。其中HBase Master服务器负责管理所有的HRegion服务器，而HBase服务器通过ZooKeep进行协调，并处理HBase服务器群运行期间产生的错误。在此，首先对ZooKeeper进行配置：

一、ZooKeeper配置

关于ZooKeeper具体介绍：http://www.cnblogs.com/wuxl360/p/5817471.html

1、下载zookeeper

http://www.apache.org/dyn/closer.cgi/zookeeper/

2、解压zookeeper到安装目录

tar -zxvf zookeeper-3.4.10-bin.tar.gz /usr/hadoop/

3、添加环境变量

4、zoo.fcg配置

cp conf/zoo_sample.cfg conf/zoo.cfg

(1)、tickTime：心跳时间，毫秒为单位。

(2)、initLimit：初始化最长心跳时间间隔，超过10个心跳时间ZooKeeper服务器还没有收到客户端返回信息，则表示这个客户端连接失败。

(3)、syncLimit：表示Leader和Fllower之间发送消息、请求和应答时间长度，最长不能超过多少个tickTime时间长度。

(4)、dataDir：存储内存中数据库快照的位置。

(5)、clientPort：监听客户端连接的端口。

(6)、server.A=B:C:D：其中A表示第几号服务器；B表示这个服务器IP地址；C表示这个服务器与集群中的leader服务器交换信息的端口；D表示万一集群中leader服务器挂了，需要通过选举算法重新选举leader，这个端口用来执行选举时服务器相互通信的端口。

5、配置myid

在节点配置的dataDir指定目录下，创建myid文件，内容为id(server.x中x值)数字，用来标识当前主机，例如：echo“1” > myid

6、将master节点zookeeper安装配置文件分发到其他节点(注意修改其他节点myid)

例如：scp -r /usr/hadoop/zookeeper-3.4.10 hadoop@slave1:/usr/hadoop

7、查看zookeeper状态(jps)，正常状态为：

若存在QuorumPeerMain，则启动正常

8、若集群上安装了Hadoop、HBase、ZooKeeper

启动次序：Hadoop(start-all.sh)—>ZooKeeper(zkServer.sh start)—>HBase(start-hbase.sh)

停止次序：HBase(stop-hbase.sh)—>ZooKeeper(zkServer.sh stop)—>Hadoop(stop-all.sh)

二、配置(master中配置HBase)

1、下载HBase

http://www.apache.org/dyn/closer.cgi/hbase/

2、解压HBase到安装目录

tar -zxvf hbase-1.1.10-bin.tar.gz /usr/hadoop/

3、添加环境变量

4、配置hbase-env.sh

export JAVA_HOME=/usr/java/jdk1.8.0_111

export HBASE_CLASSPATH=/usr/hadoop/hbase-1.1.10/conf

export HBASE_LOG_DIR=${HBASE_HOME}/logs

export HBASE_MANAGES_ZK=false

注：HBase有一个自带的zookeeper(默认ZooKeeper实例)，在单机模式下运行比较好。而在全分布式模式下，为了方便管理，一般把zookeeper独立出来。在conf/hbase-env.sh修改行:export HBASE_MANAGES_ZK=false，以此告诉HBase不需要自己维护Zookeeper。

如果使用默认ZooKeeper实例，HBase将自动启动或停止ZooKeeper；使用独立ZooKeeper实例，需要手动启动或停止ZooKeeper实例。

5、配置hbase-site.xml

三、在Hadoop集群中运行HBase

1、将master配置好的HBase文件拷贝到其他节点

scp -r /usr/hadoop/hbase1.1.10 hadoop@slave1:/usr/hadoop

2、将master配置好的环境变量拷贝到其他节点

scp -r ~/.bashrc hadoop@slave1: ~/.bashrc

scp -r ~/.bashrc hadoop@slave2: ~/.bashrc

3、依次执行

$start-all.sh //启用Hadoop

$zkServer.sh start //启用ZooKeeper

$start-hbase.sh //启用HBase

$hbase shell //运行HBase Shell

四、HBase Shell使用

1、常用shell命令

2、create ‘表名’， ‘列名1’，’列名2’，……，’列名N’，

hbase> create ‘test1’, {Name => ‘f1’, VERSION => 5}

3、list ‘表名称’

4、put ‘表名称’，’行名’，’列名:’， ‘值’

5、scan ‘表名’

......

Hadoop渐进九：HBase配置及简单应用相关推荐

Hadoop学习---Zookeeper+Hbase配置学习
软件版本号: JDK:jdk-8u45-linux-i586.tar.gz Zookeeper:zookeeper-3.4.6 Hbase:hbase-1.0.0-bin 一.JDK版本更换由于之前 ...
Eclipse中使用Hadoop集群模式开发配置及简单程序示例（Windows下）
Hadoop入门配置系列博客目录一览 1. Eclipse中使用Hadoop伪分布模式开发配置及简单程序示例(Linux下) 2. 使用Hadoop命令行执行jar包详解(生成jar.将文件上传到df ...
hadoop组件之hbase安装配置
准备工作 1.软件包 2.导入到虚拟机的opt目录下,并解压和改文件夹名字 tar -zxvf hbase-1.2.0-cdh5.14.2.tar.gz mv hbase-1.2.0-cdh5.14. ...
Hadoop完全分布式搭建过程、maven和eclipse配置hadoop开发环境、配置Map/Reduce Locations、简单wordcount测试!
Hadoop完全分布式搭建及测试项目开始前准备工作 1.下载并安装VM workstation pro 15安装包,这里选择: VMware-workstation-full-15.1.0-1359 ...
hadoop 2.0 详细配置教程
作者:杨鑫奇 PS:文章有部分参考资料来自网上,并经过实践后写出,有什么问题欢迎大家联系我. update: 20130518 大家可以尝试下Ambari来配置Hadoop的相关环境快速的部署Ha ...
HBase配置AES加密
版本: HDP:3.0.1.0 HBase:2.0.0 一.前言为了避免第三方非法访问我们的重要数据,我们可以给HBase配置加密算法,目前HBase只支持使用aes加密算法,用于保护静态的HFil ...
HBASE配置参数说明中文文档(官方文档翻译)
HBASE所有参数原文加中文译文,方便学习交流研究使用,因使用爬虫获取部分内容翻译可能存在误差,仅供参考,以原文内容为准. 官方原文地址文章目录 hbase.tmp.dir hbase.rootdi ...
【保姆级教程】hadoop 3.x 环境配置——入门篇
文章目录 (一) Hadoop环境配置 1 配置服务器 1.1 虚拟机 1.2 云服务器 1.3 服务器基础配置总览 2 配置用户 3 配置JAVA 3.1 更换yum源 3.2 安装JDK 3.2. ...
大数据学习系列之七 ----- Hadoop+Spark+Zookeeper+HBase+Hive集群搭建图文详解
引言在之前的大数据学习系列中,搭建了Hadoop+Spark+HBase+Hive 环境以及一些测试.其实要说的话,我开始学习大数据的时候,搭建的就是集群,并不是单机模式和伪分布式.至于为什么先写单 ...

Hadoop渐进九：HBase配置及简单应用

Hadoop渐进九：HBase配置及简单应用相关推荐

最新文章

热门文章