小丸子学Hadoop系列之——部署Hbase集群
主机名 ip地址 安装的软件 运行的进程
AI-OPT-HBS01 10.46.52.30 hadoop,hbase namenode,zkfc,resourcemanager
AI-OPT-HBS02 10.46.52.31 hadoop namenode,zkfc,resourcemanager
AI-OPT-HBS03 10.46.52.32 hadoop,hbase datanode
AI-OPT-HBS04 10.46.52.33 hadoop,zookeeper,hbase datanode,nodemanager,journalnode
AI-OPT-HBS05 10.46.52.34 hadoop,zookeeper,hbase datanode,nodemanager,journalnode
AI-OPT-HBS06 10.46.52.35 hadoop,zookeeper,hbase datanode,nodemanager,journalnode
1.安装1.创建用户以及配置主机名
mkdir -p /aifs01/users
useradd -u 351 -g hadoop -G ibss -d /aifs01/users/hdpusr01 -m hdpusr01
passwd hdpusr01 --stdin <<< Linuhdp_0805
echo -e "\n. ~puwadm/wprofile\n" >> ~hdpusr01/.bash_profile
useradd -u 352 -g hbase -G ibss -d /aifs01/users/hbsusr01 -m hbsusr01
passwd hbsusr01 --stdin <<< Linuhbs_0805
echo -e "\n. ~puwadm/wprofile\n" >> ~hbsusr01/.bash_profile
vi /etc/hosts
10.46.52.30 AI-OPT-HBS01
10.46.52.31 AI-OPT-HBS02
10.46.52.32 AI-OPT-HBS03
10.46.52.33 AI-OPT-HBS04
10.46.52.34 AI-OPT-HBS05
10.46.52.35 AI-OPT-HBS06
2.安装Hadoop集群
具体步骤请参考《小丸子学Hadoop系列之——部署Hadoop集群》
http://blog.itpub.net/20801486/viewspace-1877048/
3.安装HBase集群
3.1 安装HBase集群(AI-OPT-HBS01 - AI-OPT-HBS06)
--选择一台主机操作(AI-OPT-HBS01)
[root@AI-OPT-HBS01 hbsusr01]# tar xvf /opt/software/hbase-1.1.2.tgz
[root@AI-OPT-HBS01 hbsusr01]# mv hbase-1.1.2 hbase
[root@AI-OPT-HBS01 hbsusr01]# chown -R hbsusr01:hbase hbase
--设置集群节点文件
hbsusr01@AI-OPT-HBS01:/aifs01/users/hbsusr01/hbase/conf> vi regionservers
AI-OPT-HBS03
AI-OPT-HBS04
AI-OPT-HBS05
AI-OPT-HBS06
--设置hbase配置文件
hbsusr01@AI-OPT-HBS01:/aifs01/users/hbsusr01/hbase/conf> vi hbase-site.xml
1:
2:
3: hbase.rootdir
4: hdfs://AI-OPT-HBS01:8920/hbase
5:
6:
7:
8: hbase.master.port
9: 60900
10:
11:
12:
13: hbase.regionserver.port
14: 60920
15:
16:
17:
18: hbase.cluster.distributed
19: true
20:
21:
22:
23: hbase.zookeeper.quorum
24: AI-OPT-HBS04,AI-OPT-HBS05,AI-OPT-HBS06
25:
26:
27:
28: hbase.tmp.dir
29: /aifs01/users/hbsusr01/hbase/tmp
30:
31:
32:
33: hbase.zookeeper.peerport
34: 29888
35:
36:
37:
38: hbase.zookeeper.leaderport
39: 39888
40:
41:
42:
43: hbase.zookeeper.property.clientPort
44: 29181
45:
46:
47:
48: hbase.rest.port
49: 8980
50:
51:
--设置hbase环境
hbsusr01@AI-OPT-HBS01:/aifs01/users/hbsusr01/hbase/conf> vi hbase-env.sh
export HBASE_CONF_DIR=/aifs01/users/hbsusr01/hbase/conf
export HBASE_PID_DIR=/aifs01/users/hbsusr01/hbase/pid
export HBASE_LOG_DIR=/aifs01/users/hbsusr01/hbase/logs
# export HBASE_MANAGES_ZK=true
export HBASE_MANAGES_ZK=false
--创建相关目录
hbsusr01@AI-OPT-HBS01:/aifs01/users/hbsusr01> mkdir -p hbase/{conf,pid,logs,tmp}
--拷贝文件到其他节点并解压
hbsusr01@AI-OPT-HBS01:/aifs01/users/hbsusr01> tar cvf hbase.tar hbase
hbsusr01@AI-OPT-HBS01:/aifs01/users/hbsusr01> scp hbase.tar AI-OPT-HBS03:/aifs01/users/hbsusr01
hbsusr01@AI-OPT-HBS01:/aifs01/users/hbsusr01> scp hbase.tar AI-OPT-HBS04:/aifs01/users/hbsusr01
hbsusr01@AI-OPT-HBS01:/aifs01/users/hbsusr01> scp hbase.tar AI-OPT-HBS05:/aifs01/users/hbsusr01
hbsusr01@AI-OPT-HBS01:/aifs01/users/hbsusr01> scp hbase.tar AI-OPT-HBS06:/aifs01/users/hbsusr01
--配置ssh互信
su - hbsusr01
ssh-keygen -t rsa
cat ~/.ssh/id_rsa.pub > ~/.ssh/authorized_keys
chmod 600 .ssh/authorized_keys
--选择一台master操作(AI-OPT-HBS01)
ssh AI-OPT-HBS02 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
ssh AI-OPT-HBS03 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
ssh AI-OPT-HBS04 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
ssh AI-OPT-HBS05 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
ssh AI-OPT-HBS06 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
scp ~/.ssh/authorized_keys AI-OPT-HBS02:/aifs01/users/hbsusr01/.ssh/authorized_keys
scp ~/.ssh/authorized_keys AI-OPT-HBS03:/aifs01/users/hbsusr01/.ssh/authorized_keys
scp ~/.ssh/authorized_keys AI-OPT-HBS04:/aifs01/users/hbsusr01/.ssh/authorized_keys
scp ~/.ssh/authorized_keys AI-OPT-HBS05:/aifs01/users/hbsusr01/.ssh/authorized_keys
scp ~/.ssh/authorized_keys AI-OPT-HBS06:/aifs01/users/hbsusr01/.ssh/authorized_keys
--验证配置是否生效
ssh AI-OPT-HBS01 date
ssh AI-OPT-HBS02 date
ssh AI-OPT-HBS03 date
ssh AI-OPT-HBS04 date
ssh AI-OPT-HBS05 date
ssh AI-OPT-HBS06 date
--解压hadoop包(AI-OPT-HBS03 - AI-OPT-HBS06)
tar xvf hbase.tar
--启动hbase
start-hbase.sh
Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException): Permission denied: user=hbsusr01, access=WRITE, inode="/":hdpusr01:supergroup:drwxr-xr-x
解决方法:hadoop fs添加目录和权限
hdpusr01@AI-OPT-HBS01:/aifs01/users/hdpusr01/hadoop/bin> ./hadoop fs -mkdir /hbase
hdpusr01@AI-OPT-HBS01:/aifs01/users/hdpusr01/hadoop/bin> ./hadoop fs -chown hbsusr01:hbase /hbase
至此,Hbase集群搭建完毕。
来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/20801486/viewspace-2122238/,如需转载,请注明出处,否则将追究法律责任。
转载于:http://blog.itpub.net/20801486/viewspace-2122238/
小丸子学Hadoop系列之——部署Hbase集群相关推荐
- 小丸子学Hadoop系列之——hbase备份与恢复
1.使用distcp冷备hbase --查看原始数据 [hdpusr01@hadoop1 bin]$ hbase shell SLF4J: Class path contains multiple S ...
- 小丸子学MongoDB系列之——部署MongoDB副本集
1.以副本集的方式启动mongodb实例 1.1 创建副本集目录 [mgousr01@vm1 ~]$ mkdir -p mongorep/{mg17/{bin,conf,data,logs,pid}, ...
- Hadoop(六)搭建分布式HBase集群
接上一章节,在单机版的HBase中,HMaster,HRegionServer,Zookeeper都在一个JVM进程中运行,通过两个阶段来搭建.学习分布式的HBase,伪分布式和分布式. 一,伪分布式 ...
- 小丸子学Redis系列之——Data types(一)
Redis相比其他key-value类型的数据库来说有其特有的优势,其中两点比较突出的就是支持数据持久化和支持各种复杂的数据结构. 本文就来简单介绍下Redis 3.0支持的数据类型,以及各个数据类型 ...
- 小丸子学Docker系列之——安装Docker及基本命令的使用
环境要求: 在Centos7.x上安装docker官方要求内核至少是3.10 1.查看内核和操作系统版本 [root@docker-machine ~]# uname -r 3.10.0-327.el ...
- 小丸子学MongoDB系列之——安装MongoDB
1.下载MongoDB3.0软件包并解压 [root@vm1 ~]# cd /appbase/apps [root@vm1 ~]# rz [root@vm1 ~]# tar xzvf mongodb- ...
- 小丸子学Docker系列之——实战Dockerfile
这次研究下Docker的Dockerfile,通过Dockerfile来定制化和自动build自己的image,本次要实现的需求是定制一个包含Mysql,Mongodb,Redis三种数据库服务的镜 ...
- Hadoop集群搭建Hbase集群
Habse介绍 HBase是一个分布式的.面向列的开源数据库,该技术来源于 Fay Chang 所撰写的Google论文"Bigtable:一个结构化数据的分布式存储系统".就像B ...
- hadoop hive hbase 集群搭建
摘要:去年开发BI系统,其中ETL用到了Hadoop和Hive,我用三台Dell服务器,搭建了一个Hadoop集群,用于开发测试. 在接下来的几篇中,我会介绍些BI架构设计的内容,以及在开发中遇到的困 ...
最新文章
- AI检测制造“零缺陷”
- weather at Cambridge will be fine next week
- Linux学习总结(十七)-shell 基础知识
- 编译期间确定类型安全——泛型(Generics)
- 第三次学JAVA再学不好就吃翔(part47)--String类的构造方法
- (一)Web Service——基本概念
- windows系统停止8080端口
- zynq linux opencv效率,2 - 基于ZYNQ7000的交叉编译工具链Qt+OpenCV+ffmpeg等库支持总结
- matlab对excel数据求均值,matlab对excel数据的处理,判断时间是否相同,求均值
- rxtx for java_RXTX实现JAVA串口编程
- 无法更新计算机的启动配置 注册表,win10改win7系统卡在安装程序正在更新注册表设置怎么办...
- 基于433MHz无线网络和PMS132B SOP14照明驱动方案开发
- t.cn短链接是怎么生成的?
- Latex录入参考文献bib.bib文件
- TEM测试常见问题及解答(五)
- 教你利用clustalw和blat解决接头问题问题
- 03-Minisys-1的典型指令详解
- 海量数据去重的Hash与BloomFilter学习笔记
- html页面导航图标添加,vue 切换网页导航栏添加logo及标题
- go比python的优缺点