Hadoop学习---Zookeeper+Hbase配置学习
软件版本号:
JDK:jdk-8u45-linux-i586.tar.gz
Zookeeper:zookeeper-3.4.6
Hbase:hbase-1.0.0-bin
一、JDK版本更换
由于之前安装的jdk-6u45-linux-i586版本较低,与Hbase不兼容,因此更换为jdk-8u45-linux-i586
1.jdk 1.6卸载
(1)删除jdk目录:sudo rm -rf /opt/jdk1.6.0_45
(2)删除jdk环境变量:sudo gedit /etc/profile删除代码段:# javaexport JAVA_HOME=/opt/jdk1.6.0_45export JRE_HOME=$JAVA_HOME/jreexport CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATHexport PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
2.jdk 1.8安装
(1)复制jdk-8u45-linux-i586.tar.gz到/opt目录下并解压为文件夹jdk
(2)配置jdk环境变量:sudo gedit /etc/profile
添加代码段:
# javaexport JAVA_HOME=/opt/jdk1.8.0_45export JRE_HOME=$JAVA_HOME/jreexport CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATHexport PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
(3)执行命令,使配置生效:source /etc/profile;
(4)执行命令:java -version,若出现java版本号,则说明安装成功。
(5)修改/home/hduser/hadoop/etc/hadoop路径下hadoop-env.sh和yarn-env.sh中jdk的版本号
(6)Ubuntu2执行相同操作
二、Zookeeper配置
1.Zookeeper配置
(1)复制zookeeper-3.4.6.tar.gz到/home/hduser目录下并解压为文件夹zookeeper-3.4.6
(2)配置Zookeeper环境变量:sudo gedit /etc/profile
添加代码段:
#zookeeperexport ZOOKEEPER_HOME=/home/hduser/zookeeper-3.4.6export PATH=$ZOOKEEPER_HOME/bin:$ZOOKEEPER_HOME/conf:$PATH
(3)新建zoo.cfg并修改:
hduser@Ubuntu1:~/zookeeper-3.4.6$ cp conf/zoo_sample.cfg conf/zoo.cfg
清空zoo.cfg中代码,然后添加以下代码段:
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/home/hduser/zookeeper-3.4.6/zookeeper
dataLogDir=/home/hduser/zookeeper-3.4.6/log
clientPort=2181
server.1=Ubuntu1:2888:3888
server.2=Ubuntu2:2888:3888
(4)在/home/hduser/zookeeper-3.4.6目录下新建文件夹zookeeper,在其中新建文件myid,并写入“1”
(5)Ubuntu2执行相同操作,不同点是myid写入的值为“2”。
2.Zookeeper测试
(1)各节点启动:
hduser@Ubuntu1:~/zookeeper-3.4.6$ bin/zkServer.sh start
hduser@Ubuntu2:~/zookeeper-3.4.6$ bin/zkServer.sh start
(2)jps查看:3347 QuorumPeerMain
(3)查看状态:
hduser@Ubuntu1:~/zookeeper-3.4.6$ bin/zkServer.sh status
JMX enabled by default
Using config: /home/hduser/zookeeper-3.4.6/bin/../conf/zoo.cfg
Mode: followerhduser@Ubuntu2:~/zookeeper-3.4.6$ bin/zkServer.sh status
JMX enabled by default
Using config: /home/hduser/zookeeper-3.4.6/bin/../conf/zoo.cfg
Mode: leader
(4)停止ZooKeeper:
hduser@Ubuntu1:~/zookeeper-3.4.6$ bin/zkServer.sh stop
三、Hbase配置
1.Hbase分布式配置
(1)下载安装包hbase-1.0.0-bin.tar.gz并复制到/home/hduser目录下并解压为文件夹hbase-1.0.0
(2)修改conf/hbase-site.xml文件:
添加代码段:
<property>
<name>hbase.rootdir</name>
<value>hdfs://Ubuntu1:9000/hbase</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.zookeeper.property.clientPort</name>
<value>2181</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>Ubuntu1,Ubuntu2</value>
</property>
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/home/hduser/zookeeper-3.4.6/zookeeper</value>
</property>
<property>
<name>dfs.support.append</name>
<value>true</value>
</property>
(3)修改conf/regionservers文件:
添加:Ubuntu1
Ubuntu2
(4)修改conf/hbase-env.sh文件:
添加:
export JAVA_HOME=/opt/jdk1.7.0_07
export HBASE_MANAGES_ZK=false
export HBASE_HOME=/home/hduser/hbase-1.0.0
export HADOOP_HOME=/home/hduser/hadoop
(5)修改各节点Hadoop的hdfs-site.xml文件:
添加:
<property>
<name>dfs.datanode.max.xcievers</name>
<value>4096</value>
</property>
注:该参数限制了datanode所允许同时执行的发送和接受任务的数量,缺省为256
(6)Ubuntu2执行相同操作
Hbase配置
1.Hbase配置单机
(1)下载安装包hbase-1.0.0-bin.tar.gz并复制到到/home/hduser目录下并解压为文件夹hbase-1.0.0
(2)修改conf/hbase-site.xml文件:
添加代码段:
<property>
<name>hbase.rootdir</name>
<value>hdfs://Ubuntu1:9000/hbase</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>false</value>
</property>
<property>
<name>hbase.zookeeper.property.clientPort</name>
<value>2181</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>Ubuntu1 </value>
</property>
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/home/hduser/zookeeper-3.4.6/zookeeper</value>
</property>
<property>
<name>dfs.support.append</name>
<value>true</value>
</property>
(3)修改conf/regionservers文件:
添加:Ubuntu1
(4)修改conf/hbase-env.sh文件:
添加:
export JAVA_HOME=/opt/jdk1.8.0_45
export HBASE_MANAGES_ZK=true
export HBASE_HOME=/home/hduser/hbase-1.0.0
export HADOOP_HOME=/home/hduser/hadoop
(5)修改各节点Hadoop的hdfs-site.xml文件:
添加:
<property>
<name>dfs.datanode.max.xcievers</name>
<value>4096</value>
</property>
注:该参数限制了datanode所允许同时执行的发送和接受任务的数量,缺省为256
2.Hbase测试
启动顺序:Hadoop→Zookeeper→Hbase,结束顺序:Hbase→Zookeeper→Hadoop
(1)启动Hbase:
hduser@Ubuntu1:~/hbase-1.0.0$ bin/start-hbase.sh
(2)jps查看:
# 主节点 Ubuntu1: jps3491 HMaster
2887 NameNode
3640 HRegionServer
3347 QuorumPeerMain
3010 DataNode
3727 Jps
3168 SecondaryNameNode# 从节点Ubuntu2:2870 DataNode
3280 Jps
2953 QuorumPeerMain
3054 HRegionServer
(3)进入hbase shell:
hduser@Ubuntu1:~/hbase-1.0.0$ bin/hbase shell
(4)查看集群状态
hbase(main):001:0> status
(5)建表测试:
hbase(main):003:0> create 'test1','id1'0 row(s) in 1.8420 seconds
=>Hbase::Table - test1
=>Hbase::Table - test1
hbase(main):004:0> list
TABLE
test
test1
2 row(s) in 0.1770 seconds
=> ["test", "test1"]
注:如果jps之后显示没有安装jdk,则执行source /etc/profile后再jps
其他
注意:有时会出现Can't get master address from ZooKeeper; znode data == null
解决方法是关掉Hbase 关掉Zookeeper 删除zookeeper数据目录下相关文件(myid文件保留),启动zookeeper ,启动Hbase,
如果不行,还可以关掉hadoop,格式化namenode。
还不行,查看hbase的启动日志。可能是端口被占用,用相关命令查询。比如下面日志例子:
Could not start ZK at requested port of 2181. ZK was started at port:2182. Aborting as clients(e.g. shell) will not be able to find this ZK quorum.
说明进程占用了默认的2181端口导致ZK不能正常启动。使用lsof -i:2181命令查看2181端口的进程情况:
如果Hadoop用户的java进程在使用。Kill对应进程,,重新启动Hbase shell。
启动HDFS:./sbin/start-dfs.sh
停止HDFS:./sbin/stop-dfs.sh
启动yarn:./sbin/start-yarn.sh
停止yarn:./sbin/stop-yarn.sh
启动Zookeeper:bin/zkServer.sh start
停止Zookeeper:bin/zkServer.sh stop
启动Hbase:bin/start-hbase.sh
停止Hbase:bin/stop-hbase.sh
转载于:https://www.cnblogs.com/ftl1012/p/9350554.html
Hadoop学习---Zookeeper+Hbase配置学习相关推荐
- 大数据学习系列之七 ----- Hadoop+Spark+Zookeeper+HBase+Hive集群搭建 图文详解
引言 在之前的大数据学习系列中,搭建了Hadoop+Spark+HBase+Hive 环境以及一些测试.其实要说的话,我开始学习大数据的时候,搭建的就是集群,并不是单机模式和伪分布式.至于为什么先写单 ...
- Hadoop + Zookeeper + HBase 配置错误攻略集
以下不包括详细部署步骤,只有部分关键步骤作为检查错误的点 仅供参考: 1. Hadoop和 HBase的版本兼容问题: 官网地址:http://hbase.apache.org/book.html#j ...
- Hadoop的学习笔记(Hive|pig|zookeeper|hbase)
轉載的,此筆記的鏈接地址請點擊此處 hadoop笔记本 <div class="postText"><div id="cnblogs_post_body ...
- Hadoop学习笔记—15.HBase框架学习(基础知识篇)
Hadoop学习笔记-15.HBase框架学习(基础知识篇) HBase是Apache Hadoop的数据库,能够对大型数据提供随机.实时的读写访问.HBase的目标是存储并处理大型的数据.HBase ...
- hadoop hive hbase 入门学习 (二)
hadoop 自学系列 hadoop hive hbase 入门学习 (一) hadoop安装.hdfs学习及mapreduce学习 hadoop 软件下载 (hadoo ...
- ZooKeeper学习第二期--ZooKeeper安装配置
一.Zookeeper的搭建方式 Zookeeper安装方式有三种,单机模式和集群模式以及伪集群模式. ■ 单机模式:Zookeeper只运行在一台服务器上,适合测试环境: ■ 伪集群模式:就是在一台 ...
- Hadoop的学习前奏(二)——Hadoop集群的配置
前言: Hadoop集群的配置即完全分布式Hadoop配置. 笔者的环境: Linux: CentOS 6.6(Final) x64 JDK: java version "1.7 ...
- hbase 修改表名_HBase学习——2.HBase原理
1.系统架构 1.1 图解 从HBase的架构图上可以看出,HBase中的组件包括Client.Zookeeper.HMaster.HRegionServer.HRegion.Store.MemSto ...
- Hbase深入学习(五) 命令及查看状态
Hbase深入学习(五) ―― 命令及查看状态 HBase是Apache Hadoop中的一个子项目,Hbase依托于Hadoop的HDFS作为最基本存储基础单元,通过使用hadoop的DFS工具就可 ...
最新文章
- python【力扣LeetCode算法题库】面试题57 - II-和为s的连续正数序列(滑动窗口)
- CF1422F Boring Queries(ST表 + 主席树)
- 根据F12在页面中调整div的大小
- vba 判断文本框内容是否为空_【VBA】 数据输入 Inputbox 基本语法
- Log4j文件配置教程大全
- 探究Python源码,终于弄懂了字符串驻留技术
- 如何写出让同事膜拜的漂亮代码?
- Web加固linux,Linux安全加固之中间件Tomcat
- iOS 百度地图与高德地图经纬度转换(坐标转换)
- 电脑win7系统开机密码忘记
- 《Python机器学习及实践:从零开始通往Kaggle竞赛之路》第4章 实战篇 学习笔记(三)4.3IMDB影评得分估计总结
- 【redis】内存优化方案
- [附源码]Python计算机毕业设计SSM基于协同过滤算法的个性化智能图书推荐系统(程序+LW)
- 计算机三维成像在哪些领域有运用,【图】三维动画类别及运用领域,三维动画分类介绍...
- 三层交换机实现vlan间通信
- chrome无法添加.crx文件(扩展程序)
- Excel 上传和下载
- D35 Spark源代码(待补充)
- oracle user does not exist,user 'scott' does not exist! 又学了一招
- 如何修改Microsoft edge浏览器主页?