1.简介

HBase是一个分布式的、面向列的开源数据库，它不同于一般的关系数据库,是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。HBase使用和 BigTable非常相同的数据模型。用户存储数据行在一个表里。一个数据行拥有一个可选择的键和任意数量的列，一个或多个列组成一个ColumnFamily，一个Fmaily下的列位于一个HFile中，易于缓存数据。表是疏松的存储的，因此用户可以给行定义各种不同的列。在HBase中数据按主键排序，同时表按主键划分为多个Region。

在分布式的生产环境中，HBase 需要运行在 HDFS 之上，以 HDFS 作为其基础的存储设施。HBase 上层提供了访问的数据的 Java API 层，供应用访问存储在 HBase 的数据。在 HBase 的集群中主要由 Master 和 Region Server 组成，以及 Zookeeper，具体模块如下图所示：

简单介绍一下 HBase 中相关模块的作用：

Master

HBase Master用于协调多个Region Server，侦测各个RegionServer之间的状态，并平衡RegionServer之间的负载。HBaseMaster还有一个职责就是负责分配Region给RegionServer。HBase允许多个Master节点共存，但是这需要Zookeeper的帮助。不过当多个Master节点共存时，只有一个Master是提供服务的，其他的Master节点处于待命的状态。当正在工作的Master节点宕机时，其他的Master则会接管HBase的集群。

Region Server

对于一个RegionServer而言，其包括了多个Region。RegionServer的作用只是管理表格，以及实现读写操作。Client直接连接RegionServer，并通信获取HBase中的数据。对于Region而言，则是真实存放HBase数据的地方，也就说Region是HBase可用性和分布式的基本单位。如果当一个表格很大，并由多个CF组成时，那么表的数据将存放在多个Region之间，并且在每个Region中会关联多个存储的单元（Store）。

Zookeeper

对于 HBase 而言，Zookeeper的作用是至关重要的。首先Zookeeper是作为HBase Master的HA解决方案。也就是说，是Zookeeper保证了至少有一个HBase Master 处于运行状态。并且Zookeeper负责Region和Region Server的注册。其实Zookeeper发展到目前为止，已经成为了分布式大数据框架中容错性的标准框架。不光是HBase，几乎所有的分布式大数据相关的开源框架，都依赖于Zookeeper实现HA。

HBase集群建立在hadoop集群基础之上，所以在搭建HBase集群之前需要把Hadoop集群搭建起来，并且要考虑二者的兼容性。

2.环境准备

（1）各服务器其修改主机名，添加hosts文件，关闭防火墙

[root@c7001 ~]#  cat >> /etc/hosts  << EOF
192.168.16.135  c7001
192.168.16.80   c7002
192.168.16.95   c7003
192.168.16.97   c7004
192.168.16.101  c7005
EOF

（2）c7001配置ssh免密登陆，用于启动集群

ssh-keygen    -t rsa
sh-copy-id   -i ~/.ssh/id_rsa.pub  c7001
ssh-copy-id  -i ~/.ssh/id_rsa.pub  c7002
ssh-copy-id  -i ~/.ssh/id_rsa.pub  c7003
ssh-copy-id  -i ~/.ssh/id_rsa.pub  c7004
ssh-copy-id  -i ~/.ssh/id_rsa.pub  c7005

(3) 各服务器配置jdk1.7+

[root@c7001 ~]# tar zxf jdk-8u171-linux-x64.tar.gz -C  /opt/
[root@c7001 opt]# mv jdk1.8.0_171/  jdk1.8
[root@c7001 opt]# vim /etc/profile
export JAVA_HOME=/opt/jdk1.8
export PATH=$PATH:$JAVA_HOME/bin
[root@c7001 ~] source  /etc/profile
[root@c7001 opt]# java -version
java version "1.8.0_171

3.安装hbase

c7003 c7004 c7005[root@c7003 opt]# tar zxf /usr/src/hbase-1.3.0-bin.tar.gz   -C /opt/

修改配置文件

[root@c7003 hbase-1.3.0]# vim conf/hbase-env.sh
#修改jdk变量
JAVA_HOME=export JAVA_HOME=/opt/jdk1.8.0_121
#关闭HBase自带的Zookeeper,使用Zookeeper集群：
export  HBASE_MANAGES_ZK=false

编辑hbase-site.xml ，添加配置文件：

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration><property> <name>hbase.rootdir</name> <value>hdfs://c7001:9000/hbase</value> </property> <property> <name>hbase.cluster.distributed</name> <value>true</value> </property> <property> <name>hbase.zookeeper.quorum</name> <value>c7003,c7004,c7005</value> </property> <property> <name>hbase.zookeeper.property.dataDir</name> <value>/opt/hbase-1.3.0/tmp/zk/data</value> </property>
</configuration>
vi   regionservers
#加入如下内容：
c7004
c7005

把Hbase复制到其他机器

[root@c7003 opt]$ scp -r hbase-1.3.0 root@c7004:/opt/
[root@c7003 opt]$ scp -r hbase-1.3.0 root@c7005:/opt/

启动集群

[root@c7003 hbase-1.3.0]$ bin/start-hbase.sh

web访问 ip:16010

各节点进程（The picture is replicating）

原文来自：https://www.jianshu.com/p/e2618564b086 作者：Anson_前行

参考链接 :

HBase完全分布式集群部署 : https://mp.weixin.qq.com/s/pkJt_6be2hEzayjQMouTrQ

HBase完全分布式集群部署相关推荐

百度开源联邦学习框架 PaddleFL：简化大规模分布式集群部署
百度开源联邦学习框架 PaddleFL:简化大规模分布式集群部署作者 | 钰莹近两年,联邦学习技术发展迅速.作为分布式的机器学习范式,联邦学习能够有效解决数据孤岛问题,让参与方在不共享数据的基础上联 ...
redis 槽点重新分配集群_5000+字硬核干货！Redis 分布式集群部署实战
原理: Redis集群采用一致性哈希槽的方式将集群中每个主节点都分配一定的哈希槽,对写入的数据进行哈希后分配到某个主节点进行存储. 集群使用公式(CRC16 key)& 16384计算键key ...
quartz分布式集群部署并且可视化配置job定时任务
2019独角兽企业重金招聘Python工程师标准>>> 项目使用quartz框架完成了定时任务集群部署调度,并且对quartz进一步封装完成在web界面可动态配置定时任务.定时任务如 ...
17_clickhouse分布式集群部署
23.ClickHouse分布式集群部署 23.1.集群部署 23.1.1.准备工作节点规划: 主机名 IP地址分片副本 clickhouse1 192.168.106.103 shard1 副 ...
hbase完整分布式集群搭建
简介: hadoop的单机,伪分布式,分布式安装 hadoop2.8 集群 1 (伪分布式搭建 hadoop2.8 ha 集群搭建 hbase完整分布式集群搭建 hadoop完整集群遇到问题汇总 Hb ...
技术干货实战（4）- 分布式集群部署模式下Nginx如何实现用户登录Session共享（含详细配置与代码实战）
原文链接:技术干货实战(4)- 分布式集群部署模式下Nginx如何实现用户登录Session共享(含详细配置与代码实战) 最近有小伙伴催更,让debug多写点技术干货,以便多学习.巩固一些技能:没办法 ...
云堡垒机分布式集群部署优缺点简单说明
目前云堡垒机安装部署模式主要分为单机部署.高可用集群部署以及分布式集群部署等.其中分布式集群部署就是将核心功能模块(如门户服务.会话中转服务.数据库服务等),分别部署在多个计算节点上.那采取布式集群部 ...
minio分布式集群部署
minio分布式集群部署分布式 Minio 可以让你将多块硬盘或者多台服务器组成一个对象存储服务.由于硬盘分布在不同的节点上,分布式 Minio 避免了单点故障.MinioMinio分布式模式可以帮 ...
Hive分布式集群部署
Hive编程,可以使开发者不需要考虑底层MapReduce算法如何实现,而只需集中精力关注SQL语句的编写即可. Apache Hive 是建立在Hadoop上的数据仓库,它提供了一系列工具,可以用来 ...

HBase完全分布式集群部署