软件版本号:

JDK:jdk-8u45-linux-i586.tar.gz

Zookeeper:zookeeper-3.4.6

Hbase:hbase-1.0.0-bin

、JDK版本更换

由于之前安装的jdk-6u45-linux-i586版本较低,与Hbase不兼容,因此更换为jdk-8u45-linux-i586

1.jdk 1.6卸载

(1)删除jdk目录:sudo rm -rf /opt/jdk1.6.0_45
(2)删除jdk环境变量:sudo gedit /etc/profile删除代码段:# javaexport JAVA_HOME=/opt/jdk1.6.0_45export JRE_HOME=$JAVA_HOME/jreexport CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATHexport PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

2.jdk 1.8安装

(1)复制jdk-8u45-linux-i586.tar.gz到/opt目录下并解压为文件夹jdk

(2)配置jdk环境变量:sudo gedit /etc/profile

添加代码段:
# javaexport JAVA_HOME=/opt/jdk1.8.0_45export JRE_HOME=$JAVA_HOME/jreexport CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATHexport PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

(3)执行命令,使配置生效:source /etc/profile;

(4)执行命令:java -version,若出现java版本号,则说明安装成功。

(5)修改/home/hduser/hadoop/etc/hadoop路径下hadoop-env.sh和yarn-env.sh中jdk的版本号

(6)Ubuntu2执行相同操作

、Zookeeper配置

1.Zookeeper配置

(1)复制zookeeper-3.4.6.tar.gz到/home/hduser目录下并解压为文件夹zookeeper-3.4.6

(2)配置Zookeeper环境变量:sudo gedit /etc/profile

添加代码段:
#zookeeperexport ZOOKEEPER_HOME=/home/hduser/zookeeper-3.4.6export PATH=$ZOOKEEPER_HOME/bin:$ZOOKEEPER_HOME/conf:$PATH

(3)新建zoo.cfg并修改:

hduser@Ubuntu1:~/zookeeper-3.4.6$ cp conf/zoo_sample.cfg  conf/zoo.cfg

清空zoo.cfg中代码,然后添加以下代码段:

tickTime=2000
initLimit=10
syncLimit=5
dataDir=/home/hduser/zookeeper-3.4.6/zookeeper
dataLogDir=/home/hduser/zookeeper-3.4.6/log
clientPort=2181
server.1=Ubuntu1:2888:3888
server.2=Ubuntu2:2888:3888

(4)在/home/hduser/zookeeper-3.4.6目录下新建文件夹zookeeper,在其中新建文件myid,并写入“1”

(5)Ubuntu2执行相同操作,不同点是myid写入的值为“2”。

2.Zookeeper测试

(1)各节点启动:

hduser@Ubuntu1:~/zookeeper-3.4.6$ bin/zkServer.sh start
hduser@Ubuntu2:~/zookeeper-3.4.6$ bin/zkServer.sh start

(2)jps查看:3347 QuorumPeerMain

(3)查看状态:

hduser@Ubuntu1:~/zookeeper-3.4.6$ bin/zkServer.sh status
JMX enabled by default
Using config: /home/hduser/zookeeper-3.4.6/bin/../conf/zoo.cfg
Mode: followerhduser@Ubuntu2:~/zookeeper-3.4.6$ bin/zkServer.sh status
JMX enabled by default
Using config: /home/hduser/zookeeper-3.4.6/bin/../conf/zoo.cfg
Mode: leader

(4)停止ZooKeeper:

hduser@Ubuntu1:~/zookeeper-3.4.6$ bin/zkServer.sh stop

、Hbase配置

1.Hbase分布式配置

(1)下载安装包hbase-1.0.0-bin.tar.gz并复制到/home/hduser目录下并解压为文件夹hbase-1.0.0

(2)修改conf/hbase-site.xml文件:

添加代码段:

<property>
<name>hbase.rootdir</name>
<value>hdfs://Ubuntu1:9000/hbase</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.zookeeper.property.clientPort</name>
<value>2181</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>Ubuntu1,Ubuntu2</value>
</property>
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/home/hduser/zookeeper-3.4.6/zookeeper</value>
</property>
<property>
<name>dfs.support.append</name>
<value>true</value>
</property>

(3)修改conf/regionservers文件:

添加:Ubuntu1

Ubuntu2

(4)修改conf/hbase-env.sh文件:

添加:

export JAVA_HOME=/opt/jdk1.7.0_07
export HBASE_MANAGES_ZK=false
export HBASE_HOME=/home/hduser/hbase-1.0.0
export HADOOP_HOME=/home/hduser/hadoop

(5)修改各节点Hadoop的hdfs-site.xml文件:

添加:

<property>
<name>dfs.datanode.max.xcievers</name>
<value>4096</value>
</property>

注:该参数限制了datanode所允许同时执行的发送和接受任务的数量,缺省为256

(6)Ubuntu2执行相同操作

Hbase配置

1.Hbase配置单机

(1)下载安装包hbase-1.0.0-bin.tar.gz并复制到到/home/hduser目录下并解压为文件夹hbase-1.0.0

(2)修改conf/hbase-site.xml文件:

添加代码段:

<property>
<name>hbase.rootdir</name>
<value>hdfs://Ubuntu1:9000/hbase</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>false</value>
</property>
<property>
<name>hbase.zookeeper.property.clientPort</name>
<value>2181</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>Ubuntu1 </value>
</property>
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/home/hduser/zookeeper-3.4.6/zookeeper</value>
</property>
<property>
<name>dfs.support.append</name>
<value>true</value>
</property>

(3)修改conf/regionservers文件:

添加:Ubuntu1

(4)修改conf/hbase-env.sh文件:

添加:

export JAVA_HOME=/opt/jdk1.8.0_45
export HBASE_MANAGES_ZK=true
export HBASE_HOME=/home/hduser/hbase-1.0.0
export HADOOP_HOME=/home/hduser/hadoop

(5)修改各节点Hadoop的hdfs-site.xml文件:

添加:

<property>
<name>dfs.datanode.max.xcievers</name>
<value>4096</value>
</property>

注:该参数限制了datanode所允许同时执行的发送和接受任务的数量,缺省为256

2.Hbase测试

启动顺序:Hadoop→Zookeeper→Hbase,结束顺序:Hbase→Zookeeper→Hadoop

(1)启动Hbase:

hduser@Ubuntu1:~/hbase-1.0.0$ bin/start-hbase.sh

(2)jps查看:

# 主节点 Ubuntu1: jps3491 HMaster
2887 NameNode
3640 HRegionServer
3347 QuorumPeerMain
3010 DataNode
3727 Jps
3168 SecondaryNameNode# 从节点Ubuntu2:2870 DataNode
3280 Jps
2953 QuorumPeerMain
3054 HRegionServer

(3)进入hbase shell:

hduser@Ubuntu1:~/hbase-1.0.0$ bin/hbase shell

(4)查看集群状态

hbase(main):001:0> status

(5)建表测试:

hbase(main):003:0> create 'test1','id1'0 row(s) in 1.8420 seconds
=>Hbase::Table - test1
=>Hbase::Table - test1
hbase(main):004:0> list
TABLE
test
test1
2 row(s) in 0.1770 seconds
=> ["test", "test1"]

注:如果jps之后显示没有安装jdk,则执行source /etc/profile后再jps

其他

注意:有时会出现Can't get master address from ZooKeeper; znode data == null

解决方法是关掉Hbase 关掉Zookeeper 删除zookeeper数据目录下相关文件(myid文件保留),启动zookeeper ,启动Hbase,

如果不行,还可以关掉hadoop,格式化namenode。

还不行,查看hbase的启动日志。可能是端口被占用,用相关命令查询。比如下面日志例子:

Could not start ZK at requested port of 2181. ZK was started at port:2182. Aborting as clients(e.g. shell) will not be able to find this ZK quorum.

说明进程占用了默认的2181端口导致ZK不能正常启动。使用lsof -i:2181命令查看2181端口的进程情况:

如果Hadoop用户的java进程在使用。Kill对应进程,,重新启动Hbase shell。

启动HDFS:./sbin/start-dfs.sh
停止HDFS:./sbin/stop-dfs.sh
启动yarn:./sbin/start-yarn.sh
停止yarn:./sbin/stop-yarn.sh
启动Zookeeper:bin/zkServer.sh start
停止Zookeeper:bin/zkServer.sh stop
启动Hbase:bin/start-hbase.sh
停止Hbase:bin/stop-hbase.sh

转载于:https://www.cnblogs.com/ftl1012/p/9350554.html

Hadoop学习---Zookeeper+Hbase配置学习相关推荐

  1. 大数据学习系列之七 ----- Hadoop+Spark+Zookeeper+HBase+Hive集群搭建 图文详解

    引言 在之前的大数据学习系列中,搭建了Hadoop+Spark+HBase+Hive 环境以及一些测试.其实要说的话,我开始学习大数据的时候,搭建的就是集群,并不是单机模式和伪分布式.至于为什么先写单 ...

  2. Hadoop + Zookeeper + HBase 配置错误攻略集

    以下不包括详细部署步骤,只有部分关键步骤作为检查错误的点 仅供参考: 1. Hadoop和 HBase的版本兼容问题: 官网地址:http://hbase.apache.org/book.html#j ...

  3. Hadoop的学习笔记(Hive|pig|zookeeper|hbase)

    轉載的,此筆記的鏈接地址請點擊此處 hadoop笔记本 <div class="postText"><div id="cnblogs_post_body ...

  4. Hadoop学习笔记—15.HBase框架学习(基础知识篇)

    Hadoop学习笔记-15.HBase框架学习(基础知识篇) HBase是Apache Hadoop的数据库,能够对大型数据提供随机.实时的读写访问.HBase的目标是存储并处理大型的数据.HBase ...

  5. hadoop hive hbase 入门学习 (二)

    hadoop 自学系列                hadoop hive hbase 入门学习 (一) hadoop安装.hdfs学习及mapreduce学习 hadoop 软件下载 (hadoo ...

  6. ZooKeeper学习第二期--ZooKeeper安装配置

    一.Zookeeper的搭建方式 Zookeeper安装方式有三种,单机模式和集群模式以及伪集群模式. ■ 单机模式:Zookeeper只运行在一台服务器上,适合测试环境: ■ 伪集群模式:就是在一台 ...

  7. Hadoop的学习前奏(二)——Hadoop集群的配置

    前言: Hadoop集群的配置即完全分布式Hadoop配置. 笔者的环境: Linux:  CentOS 6.6(Final) x64   JDK:    java version "1.7 ...

  8. hbase 修改表名_HBase学习——2.HBase原理

    1.系统架构 1.1 图解 从HBase的架构图上可以看出,HBase中的组件包括Client.Zookeeper.HMaster.HRegionServer.HRegion.Store.MemSto ...

  9. Hbase深入学习(五) 命令及查看状态

    Hbase深入学习(五) ―― 命令及查看状态 HBase是Apache Hadoop中的一个子项目,Hbase依托于Hadoop的HDFS作为最基本存储基础单元,通过使用hadoop的DFS工具就可 ...

最新文章

  1. python【力扣LeetCode算法题库】面试题57 - II-和为s的连续正数序列(滑动窗口)
  2. CF1422F Boring Queries(ST表 + 主席树)
  3. 根据F12在页面中调整div的大小
  4. vba 判断文本框内容是否为空_【VBA】 数据输入 Inputbox 基本语法
  5. Log4j文件配置教程大全
  6. 探究Python源码,终于弄懂了字符串驻留技术
  7. 如何写出让同事膜拜的漂亮代码?
  8. Web加固linux,Linux安全加固之中间件Tomcat
  9. iOS 百度地图与高德地图经纬度转换(坐标转换)
  10. 电脑win7系统开机密码忘记
  11. 《Python机器学习及实践:从零开始通往Kaggle竞赛之路》第4章 实战篇 学习笔记(三)4.3IMDB影评得分估计总结
  12. 【redis】内存优化方案
  13. [附源码]Python计算机毕业设计SSM基于协同过滤算法的个性化智能图书推荐系统(程序+LW)
  14. 计算机三维成像在哪些领域有运用,【图】三维动画类别及运用领域,三维动画分类介绍...
  15. 三层交换机实现vlan间通信
  16. chrome无法添加.crx文件(扩展程序)
  17. Excel 上传和下载
  18. D35 Spark源代码(待补充)
  19. oracle user does not exist,user 'scott' does not exist! 又学了一招
  20. 如何修改Microsoft edge浏览器主页?

热门文章

  1. 并发之线程封闭与ThreadLocal解析
  2. ios 键盘的一些问题
  3. 前缀转后缀(表达式)
  4. 遍历目录下的所有文件-os.walk
  5. 【Vue2.0】— 全局事件总线GlobalEventBus(十九)
  6. 【Vue2.0】—Vue监视数据的原理(五)
  7. JavaScript学习(二十一)—scrollTop属性和scrollLeft属性
  8. 领导要提拔你的5个征兆,机会来临时不要让自己错过
  9. 调制解调器报告了一个错误是什么状况
  10. 货车交强险在网上能买吗?