02_HBase集群部署
HBase集群部署
HBase是分布式数据库,本身也需要借助zookeeper进行集群节点间的协调(Master, RegionServer), 可以使用HBase自带的zookeeper,也可以使用外部独立部署的zookeeper, 从练习的角度讲,可以使用HBase内部自带的zookeeper
在开始部署HBase前,要先检查下Hadoop集群上的java和HBase的配套关系
1)上传安装包到待部署节点,解压并得到安装目录
以我的为例,安装包上传到3个待部署节点的/usr/local/src/目录,解压后得到HBase安装目录,同时修改安装目录名为hbase-0.98.24
[/usr/local/src] chmod 755 hbase-0.98.24-hadoop1-bin.tar.gz [/usr/local/src] tar -xzvf hbase-0.98.24-hadoop1-bin.tar.gz [/usr/local/src] mv hbase-0.98.24-hadoop1 hbase-0.98.24
2) HBase配置文件修改
任选1个节点,修改HBase配置文件目录conf下的 hbase-site.xml, regionservers, hbase-env.sh
hbase-site.xml
配置参数说明
*hbase.tmp.dir:本地目录上存放的hbase临时数据
*hbase.rootdir: HDFS上HBase真正存储数据的根路径(用户表的表结构,用户表对应的各个HFile, 各个RegionServer自己维护的Hlog)
*hbase.cluster.distributed: HBase是否以集群模式运行
*hbase.zookeeper.quorum: HBase依赖的zookeeper集群在哪些节点上,填入节点主机名即可
*hbase.zookeeper.property.dataDir: 本地目录上存储的zookeeper快照
23 <configuration>24 <property>25 <name>hbase.tmp.dir</name>26 <value>/usr/local/src/hbase-0.98.24/tmp</value>27 </property>28 <property>29 <name>hbase.rootdir</name>30 <value>hdfs://master:9000/hbase</value>31 </property>32 <property>33 <name>hbase.cluster.distributed</name>34 <value>true</value>35 </property>36 <property>37 <name>hbase.zookeeper.quorum</name>38 <value>master,slave1,slave2</value>39 </property>40 <property>41 <name>hbase.zookeeper.property.dataDir</name>42 <value>/usr/local/src/hbase-0.98.24/zookeeper</value>43 </property>44 </configuration>
hbase-env.sh
# The java implementation to use. Java 1.6 required. export JAVA_HOME=/usr/local/src/jdk1.6 export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib# Tell HBase whether it should manage it's own instance of Zookeeper or not. # 使用HBase自带的zookeeper, 生产环境设置为False,使用外部zk集群 export HBASE_MANAGES_ZK=true
regionservers
哪些节点将作为regionserver, 写入主机名即可,每行一个
Master也作为了1个regionserver, 即Hbase的主节点,同时也作为Regionserver
master slave1 slave2
3) HBase配置文件分发到其他待部署HBase的各个节点
# scp –rp hbase-site.xml root@slave1:/usr/local/src/hbase-0.98.24/conf # scp –rp hbase-env.sh root@slave1:/usr/local/src/hbase-0.98.24/conf # scp –rp regionservers root@slave1:/usr/local/src/hbase-0.98.24/conf# scp –rp hbase-site.xml root@slave2:/usr/local/src/hbase-0.98.24/conf # scp –rp hbase-env.sh root@slave2:/usr/local/src/hbase-0.98.24/conf # scp –rp regionservers root@slave2:/usr/local/src/hbase-0.98.24/conf
4)配置所有待部署HBase的各个节点的环境变量
/etc/profile文件增加如下内容
export HBASE_HOME=/usr/local/src/hbase-0.98.24/ export HBASE_CLASSPATH=$HBASE_HOME/conf export HBASE_LOG_DIR=$HBASE_HOME/logsexport PATH=$PATH:$HBASE_HOME/bin
通过source命令,让环境变量生效
# source /etc/profile
5)检查待部署Hbase的各个节点,HDFS是否正常启动,zk是否关闭
HBase的数据存储,依赖于HDFS,因此要先保证各个节点上的HDFS进程已经正常启动, JPS命令在各个节点上进行查询即可
由于配置是使用HBase自带的zk集群,因此先通过zkServer.sh stop将各个节点上的zookeeper进行关闭
6)只需要在主节点Master上启动HBase,从节点RegionServer自动被拉起
进入HBase安装目录下的bin目录,执行start-hbase.sh启动整个集群, 执行stop-hbase.sh停止整个集群
# ./start-hbase.sh # ./stop-hbase.sh
7)集群启动后检查各个节点的HBase进程,部署完成
主节点:同时具有Master和RegionServer角色,并且启动了HBase自带zk
从节点:具RegionServer角色,并且启动了HBase自带zk
转载于:https://www.cnblogs.com/shay-zhangjin/p/7823819.html
02_HBase集群部署相关推荐
- Kylin集群部署和cube使用
Kylin集群部署和cube使用 安装集群环境 节点 Kylin节点模式 Ip 内存 磁盘 Node1 All 192.167.71.11 2G 80G Node2 query 192.168.71. ...
- 堡垒机jumpserver集群部署
本文参考老广二次开发后的堡垒机部署方案,在此基础上进行集群部署,提高其可靠性.尽管国外已经有类似的功能的堡垒机的发布,但是还是要感谢老广在百忙之中开发出更加实用的堡垒机. 本文内容虽然亲测,但内容难免 ...
- 百度开源联邦学习框架 PaddleFL:简化大规模分布式集群部署
百度开源联邦学习框架 PaddleFL:简化大规模分布式集群部署 作者 | 钰莹近两年,联邦学习技术发展迅速.作为分布式的机器学习范式,联邦学习能够有效解决数据孤岛问题,让参与方在不共享数据的基础上联 ...
- 手动安装K8s第三节:etcd集群部署
手动安装K8s第三节:etcd集群部署 准备安装包 https://github.com/coreos/etcd 版本:3.2.18 wget https://github.com/coreos/et ...
- zookeeper+kafka集群部署+storm集群
zookeeper+kafka集群部署+storm集群 一.环境安装前准备: 准备三台机器 操作系统:centos6.8 jdk:jdk-8u111-linux-x64.gz zookeeper:zo ...
- Linux集群部署和ipvsadm命令的使用
在日常的使用中,一台服务器足够胜任很多的工作,但是当很多人同时访问的时候就会显得稍有些无力,这个时候.可以有两种解决的方法,第一种是不断的改善这台服务器的性能,但是总是会有一个上限存在,而且提升的效果 ...
- Ceph v12.2 Luminous基于ubuntu16.04集群部署
第一次接触ceph集群,感谢官方的指导文档和许多网友提供的教程,糊糊涂涂算是把集群部署起来了.由于Luminous12.2刚发布不久,部署起来跟旧版本还是有些许差别,所以以此做下笔记也给需要的人做下参 ...
- kubernetes-1.11.0集群部署之master集群 (二)
kubernetes-1.11.0集群部署之master集群 (二) Master master 的组件有以下: 1. API ServerApi server提供HTTP/HTTPS RESTful ...
- redis-5.0.4集群部署
redis-5.0.4 集群搭建 redis-cluster介绍 1:redis是一个开源的key value存储系统,受到了广大互联网公司的青睐. 2:redis集群采用P2P模式,是完全去 ...
最新文章
- python知识:如何多窗口切换
- js实现网页页面回到顶部
- 关于服务器中毒的预防与治疗
- 唯一标识 微信小程序_微信小程序获取用户唯一标识(不用授权)
- codeforces contest 1140(D~G)
- Linux 写时复制机制原理
- Python进阶:函数式编程(高阶函数,map,reduce,filter,sorted,返回函数,匿名函数,偏函数)...啊啊啊...
- 微软携手 Docker 打造 CNAB,分布式应用来了!
- FreeCodeCamp纳什维尔聚会的回顾
- 电信业务分类目录2019_2019年7月国内增值电信业务许可情况分析报告:本期重点介绍内容分发网络业务...
- 文玩扇子(折扇)的寸、方、排口、头分别指什么?
- ORACLE AWR报告生成过程出现多个实例记录分析
- You must install libks to build mod_signalwire
- 小程序父子组件间传值(微信/支付宝/钉钉)
- 关于解决windows10和ubuntu18.04.2 双系统时win10时间不对的问题
- ps4计算机,设置PS4连接电脑
- squid 折叠回源解析
- 木兰编程语言,当事人最新回复来了
- 全阶滑模观测器程序_滑模观测器设计
- 五、数据导入与基本的 SELECT 语句
热门文章
- 用Eclipse写java
- 【Python笔记】正则表达式
- 那年学过的Oracle笔记
- 一篇文章总结暴力破解方法大全
- java代码 创建文件夹的方法
- pyspider抓取数字货币价格bitcoin
- lettuce配置_skywalking与lettuce哨兵模式
- php 把查询数据转json格式,php将从数据库查询到的数据转化为json格式,并写入json文件中...
- 代写python作业费用标准_代做159.272作业、代写Programming Paradigms作业、代做Python实验作业、代写Java/c++编程作业代写Database|代做R...
- 有源带阻和无源带阻的区别_一文看懂AOC有源光缆与DAC高速线缆的差异