第1关：伪分布式环境搭建

实验环境：

hadoop2.7； JDK8； HBase2.1.1； hadoop已安装； JDK已安装，环境变量已配置； HBase压缩包已下载，存放在/opt目录下。

在搭建环境之前我们首先来了解一下HBase分布式环境的整体架构：

我们来简单认识一下与HBase的相关组件：

Zookeeper：

Zookeeper能为HBase提供协同服务，是HBase的一个重要组件，Zookeeper能实时的监控HBase的健康状态，并作出相应处理。

HMaster：

HMaster是HBase的主服务，他负责监控集群中所有的HRegionServer，并对表和Region进行管理操作，比如创建表，修改表，移除表等等。

HRegion：

HRegion是对表进行划分的基本单元，一个表在刚刚创建时只有一个Region，但是随着记录的增加，表会变得越来越大，HRegionServer会实时跟踪Region的大小，当Region增大到某个值时，就会进行切割（split）操作，由一个Region切分成两个Region。

HRegionServer：

HRegionServer是RegionServer的实例，它负责服务和管理多个HRegion 实例，并直接响应用户的读写请求。

总的来说，要部署一个分布式的HBase数据库，需要各个组件的协作，HBase通过Zookeeper进行分布式应用管理，Zookeeper相当于管理员，HBase将数据存储在HDFS（分布式文件系统）中，通过HDFS存储数据，所以我们搭建分布式的HBase数据库的整体思路也在这里，即将各个服务进行整合。

接下来，我们就一起来搭建一个伪分布式的HBase。

配置与启动伪分布式HBase

如果你已经完成了单节点HBase的安装，那伪分布式的配置对你来说应该很简单了，只需要修改hbase-site.xml文件即可：

cd /app/hbase-2.1.1/confvim /app/hbase-2.1.1/conf/hbase-site.xml

在这里主要有两项配置：

1.开启HBase的分布式运行模式，配置hbase.cluster.distributed为true代表开启HBase的分布式运行模式：

<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>

2.是设置HBase的数据文件存储位置为HDFS的/hbase目录，要注意的是在这里我们不需要在HDFS中手动创建hbase目录，因为HBase会帮我们自动创建。

<property>
<name>hbase.rootdir</name>
<value>hdfs://localhost:9000/hbase</value>
</property>

修改之后hbase-site.xml的<configuration>代码：

<configuration>
<configuration><property><name>hbase.cluster.distributed</name><value>true</value></property><property><name>hbase.rootdir</name><value>file:///root/data/hbase/data</value></property><property><name>hbase.zookeeper.property.dataDir</name><value>/root/data/hbase/zookeeper</value></property><property><name>hbase.unsafe.stream.capability.enforce</name><value>true</value></property><property><name>hbase.rootdir</name><value>hdfs://localhost:9000/hbase</value></property>
</configuration>
</configuration>

标红部分为我们需要注意的配置。我们在设置单节点的时候将hbase.unsafe.stream.capability.enforce属性值设置为了false，在这里我们需要注意设置它的值为true，或者干脆删除这个属性也是可以的。

配置完成之后，我们需要先启动Hadoop，然后启动HBase，最后输入jps查看启动的进程：

start-dfs.sh
start-hbase.sh

如果出现HMaster和HRegionServer以及HQuorumPeer三个服务则代表伪分布式环境已经搭建成功了。

在HDFS中验证

接下来我们进一步验证：在HDFS中检查HBase文件。

如果一切正常，HBase会在HDFS中自动建立自己的文件，在上述配置文件中，设置的文件位置为/hbase，我们输入hadoop fs -ls /hbase即可查看，如下图所示，分布式文件系统（HDFS）中hbase文件夹已经创建了：

编程要求

好了，到你啦，你需要先按照上次实训——HBase单节点安装的方式将HBase安装在/app目录下，然后根据本关知识配置好伪分布式的HBase，最后点击测评即可通关

第1关：伪分布式环境搭建相关推荐

Hadoop单机和伪分布式环境搭建
hadoop环境搭建 1.三个环境单机.伪分布式.分布式 2.三个分支 apache版本(Apache基金会) cdh版本(cloudera公司) ...
Hadoop2.2.0伪分布式环境搭建（附：64位下编译Hadoop-2.2.0过程）
Hadoop2.2.0伪分布式环境搭建: 写在前面:Hadoop2.2.0默认是支持32位的OS,如果想要在64位OS下运行的话,可以通过在64位OS下面编译Hadoop2.2.0来实现,编译的操作步 ...
HDFS伪分布式环境搭建-很不错
HDFS伪分布式环境搭建原创 ZeroOne01 2018-03-24 19:51:20 评论(0) 655人阅读 HDFS概述及设计目标什么是HDFS: 是Hadoop实现的一个分布式文件系统( ...
Hadoop学习总结（3）——Hadoop伪分布式环境搭建
一.Hadoop运行模式 Local (Standalone) Mode 本地模式适用于开发人员测试Debug 使用本地文件系统 Pseudo-Distributed Mode 伪分布式模式适用于 ...
Hadoop入门基础教程 Hadoop之伪分布式环境搭建
伪分布式模式即单节点集群模式,所有的守护进程都运行在同一台机器上.这种模式下增加了代码调试功能,可以查看内存.HDFS文件系统的输入/输出,以及与其他守护进程交互.以Hadoop用户远程登录K-Mas ...
HDFS伪分布式环境搭建
(一).HDFS shell操作以上已经介绍了如何搭建伪分布式的Hadoop,既然环境已经搭建起来了,那要怎么去操作呢?这就是本节将要介绍的内容:HDFS自带有一些shell命令,通过这些命令我们可 ...
hadoop2.9.1伪分布式环境搭建以及文件系统的简单操作
1.准备 1.1.在vmware上安装centos7的虚拟机 1.2.系统配置配置网络 # vi /etc/sysconfig/network-scripts/ifcfg-ens33 BOOTPRO ...
Hadoop小兵笔记【五】hadoop2.2.0伪分布式环境搭建疑难-第一个用例wordcount失败
问题现象问题原因由于参考了之前研究生阶段下载的资料,按照真分布式环境一步步配置,觉得只是将datanode同时存放在namenode,将hdfs-site.xml文件中的dfs.replicati ...
hadoop2.6.0实践：002 检查伪分布式环境搭建
1.检查网络配置 [root@hadoop-master ~]# cat /etc/sysconfig/network NETWORKING=yes HOSTNAME=hadoop-master GA ...

第1关：伪分布式环境搭建

第1关：伪分布式环境搭建相关推荐

最新文章

热门文章