HiveServer2配置HA

软件环境

CentOS 6.8

Hadoop 2.6.0-cdh5.9.0

Hive 1.1.0-cdh5.9.0

Zookeeper 3.4.5-cdh5.9.0

工作原理

常规连接
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-CPHhsCGO-1623833230712)(https://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.3.0/bk_hadoop-ha/content/figures/2/figures/Query_Ex_Path_No_ZK.png)]

HiverServer HA
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-f19lCy9n-1623833230715)(https://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.3.0/bk_hadoop-ha/content/figures/2/figures/Query_Ex_Path_With_ZK.png)]

配置Hive HA

前置条件先安装好Hadoop、Zookeeper

vi $HIVE_HOME/conf/hive-site.xml

添加配置如下:

<property>
<name>hive.server2.support.dynamic.service.discovery</name>
<value>true</value>
</property>
<property>
<name>hive.server2.zookeeper.namespace</name>
<value>hiveserver2_zk</value>
</property>
<property>
<name>hive.zookeeper.quorum</name>
<value>dw1:2181,dw2:2181,dw3:2181</value>
</property>
<property>
<name>hive.zookeeper.client.port</name>
<value>2181</value>
</property>
<property>
<name>hive.server2.thrift.bind.host</name>
<value>主机名(强烈建议使用主机名防止IP发生变化)</value>
</property>

启动HiveServer2

$HIVE_HOME/bin/hiveserver2
//默认端口为10000

检查Zookeeper注册

登录Zookeeper对应的服务器

执行zookeeper-client如下：

[zk: localhost:2181(CONNECTED) 0] ls /hiveserver2_zk
[serverUri=dw2:10000;version=1.1.0-cdh5.9.0;sequence=0000000006, serverUri=dw1:10000;version=1.1.0-cdh5.9.0;sequence=0000000007]
[zk: localhost:2181(CONNECTED) 1]

以上表示注册成功

连接hiveserver2

连接字符串如下：

$HIVE_HOME/bin/beeline -u "jdbc:hive2://dw1:2181,dw2:2181,dw3:2181/default;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=hiveserver2_zk" hadoop hadoop

连接成功信息如下：

hadoop@dw6:~$ $HIVE_HOME/bin/beeline -u "jdbc:hive2://dw1:2181,dw2:2181,dw3:2181/default;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=hiveserver2_zk" hadoop hadoop
scan complete in 1ms
Connecting to jdbc:hive2://dw1:2181,dw2:2181,dw3:2181/default;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=hiveserver2_zk
17/11/30 18:40:52 [main]: INFO jdbc.HiveConnection: Connected to dw1:10000
Connected to: Apache Hive (version 1.1.0-cdh5.9.0)
Driver: Hive JDBC (version 1.1.0-cdh5.9.0)
Transaction isolation: TRANSACTION_REPEATABLE_READ
Beeline version 1.1.0-cdh5.9.0 by Apache Hive
0: jdbc:hive2://dw1:2181,dw2:2181,dw3:2181/de> show tables;
+----------------+--+
|    tab_name    |
+----------------+--+
| test_datediff  |
| web_logs       |
| web_logs_1     |
| web_logs_orc   |
| web_logs_text  |
+----------------+--+
5 rows selected (0.147 seconds)
0: jdbc:hive2://dw1:2181,dw2:2181,dw3:2181/de>

文章参考

https://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.3.0/bk_hadoop-ha/content/ch_HA-Hive.html
http://lxw1234.com/archives/2016/05/675.htm

HiveServer2配置HA相关推荐

hiveserver2 的HA 配置
1.作用如果只是使用一台服务来启动hiveserver2,那么如果hiveserver2挂掉便不能提供jdbc的支持.hive 支持hiveserver2 HA,用于进行负载均衡和高可用 Hive从 ...
CDH页面配置HA（高可用）
CDH页面配置HA(高可用) 集群的配置简单介绍: (1) NameNode机器: 运行 Active NameNode和 Standby NameNode 的机器配置应保持一样. (2) 当 Act ...
Kettle连接HiveServer2配置和常见问题解决
Kettle连接HiveServer2配置和常见问题解决参考文章: (1)Kettle连接HiveServer2配置和常见问题解决 (2)https://www.cnblogs.com/xieys- ...
在CISCO的防火墙ASA配置HA
实验环境在ASAv10和ASAv11上配置HA gi0/1为inside进口,gi0/2为outside出口,gi0/0为两台ASA的互联接口. 实验目的:使得两台防火墙互为主备,平时只有一台工作, ...
Linux一条命令多个机器执行,Linux 配置HA软件后，如果该机器上有多个IQServer如何执行切换命令？...
在Linux 上配置 HA软件后,该机器上如果只有一个 IQ Server,在切换时,可以使用stop_iq 命令正常停止该服务进程: 要是有两个或多个 IQ Server,显然使用stop_iq命令 ...
vCenter6.0配置二：配置HA群集
本文主要介绍HA群集的创建,主要有以下要求:1.每台宿主机具有冗余的网络连接,因此最好要有2块物理网卡,前文在介绍配置分布式交换机时已经满足.2.每台宿主机具有冗余的共享存储,因此最好要添加2块共享磁 ...
Hive hiveserver2 配置运行
1:运行命令行模式: hive --service hiveserver2 --hiveconf hive.server2.thrift.port=10001 服务模式: hiveserver2 s ...
(转载)hadoop2.2.0集群的HA高可靠的最简单配置
转载网址:http://www.cnblogs.com/meiyuanbao/p/hadoop2.html 简介 hadoop中的NameNode好比是人的心脏,非常重要,绝对不可以停止工作.在had ...
HDFS HA介绍及配置理解
1.HDFS HA介绍相比于Hadoop1.0,Hadoop 2.0中的HDFS增加了两个重大特性,HA和Federaion.HA即为High Availability,用于解决NameNode单点 ...

HiveServer2配置HA

HiveServer2配置HA相关推荐

最新文章

热门文章