前言

Hive高可用部署 HiveServer2高可用（HA）Metastore高可用（HA）基于Apache hive 3.1.2

提示：以下是本篇文章正文内容，下面案例可供参考

一、Hive是什么？

Hive是一个基于Hadoop的数据仓库工具，可以将结构化的数据文件映射成一张数据表，并可以使用类似SQL的方式来对数据文件进行读写以及管理。这套Hive SQL 简称HQL。Hive的执行引擎可以是MR、Spark、Tez。具体网络上查看

二、使用步骤

1.环境准备

操作系统：Windows 10
虚拟机：VMware 15.5
集群系统：Centos 7 64位
Zookeeper版本：zookeeper-3.4.10
Hadoop版本：hadoop-3.3.1
HBase版本：Hbase2.4.4
Hive版本：Hive3.1.2

2.集群规划

IP	HostName	Software	Process
192.168.74.88	hadoop01	hadoop,zookeeper,hbase,hive,mysql	DataNode,NodeManager,QuorumPeerMain,JournalNode,NameNode,DFSZKFailoverController,ResourceManager,HMaster,HRegionServer,RunJar,RunJar
192.168.74.89	hadoop02	hadoop,zookeeper	DataNode,NodeManager,QuorumPeerMain,JournalNode,NameNode,DFSZKFailoverController,HRegionServer
192.168.74.90	hadoop03	hadoop,zookeeper,hbase,hvie	DataNode,NodeManager,QuorumPeerMain,JournalNode,ResourceManager,HMaster,HRegionServer,RunJar

Hive metastore （HA）

节点	hadoop01	hadoop02	hadoop03
metastore	有		有
hiveserver2	有
client		有

2.Hive远程模式安装

安装配置（示例）：

# 创建一个新目录root
mkdir -p /data/hive
chown hadoop:hadoop /data/hive
su hadoopcd /data/hive
tar -zxvf apache-hive-3.1.2-bin.tar.gz
# 重命名一下文件夹
mv apache-hive-3.1.2-bin appcd /data/hive/app/conf/# 将hive-env.sh.template拷贝一份命名hive-env.sh
scp hive-env.sh.template hive-env.sh
# 系统环境变量
vim ~/.bashrc
gedit ~/.bashrcexport HIVE_HOME=/data/hive/app
export PATH=$HIVE_HOME/bin:$PATHsource ~/.bashrc# 编辑配置文件 hive-site.xml
# Hive 默认是没有带 Mysql 驱动程序的，安装Mysql
Hive 将元数据存储在 RDBMS 中，一般常用 MySQL 和 Derby。默认情况下，Hive 元数据 保存在内嵌的 Derby 数据库中，只能允许一个会话连接，只适合简单的测试。实际生产环境中不适用， 为了支持多用户会话，则需要一个独立的元数据库，使用 MySQL 作为元数据库，Hive 内部对 MySQL 提供了很好的支持
内置的derby主要问题是并发性能很差，可以理解为单线程操作。# 初始化 MySql 数据库
使用 Hive schematool 初始化当前 Hive 版本的 Metastore 架构。该工具尝试从 Metastore 中找到当前架构（如果它在那里可用）。schematool 确定初始化或升级架构所需的SQL脚本，然后针对后端数据库执行这些脚本。从 Hive 配置中提取 Metastore 数据库连接信息，例如 JDBC URL，JDBC driver 和数据库凭据。schematool -dbType mysql -initSchema# 创建测试数据，以及在hadoop上创建数据仓库目录
vim /data/hive/app/testdata001.dat
12306,mname,yname
10086,my.mshk.top,you.mshk.top# 在 Hadoop 上创建数据仓库目录
hadoop fs -mkdir -p /hive/warehouse# 用 Shell 测试连接 Hive
nohup hive
hive> set hive.server2.logging.operation.level=NONE
hive> show databases;
hive> create database testmshk;
hive> show databases;
hive> use testmshk;
hive> create external table testtable(uid int,myname string,youname string) row format delimited fields terminated by ',' location '/hive/warehouse/testtable';
hive> LOAD DATA LOCAL INPATH '/data/hive/app/testdata001.dat' OVERWRITE INTO TABLE testtable;
hive> select * from testtable;
hive> quit;# 拷贝hive到其他机器
scp -r /data/hive/app hadoop@hadoop02:/data/hive
scp -r /data/hive/app hadoop@hadoop03:/data/hive# 在hadoop01、hadoop03上分别启动 metastore 服务
# 启动 metastore 服务
nohup hive --service metastore &# 查询9083端口(metastore服务占用的端口)
lsof -i:9083# 启动hadoop01上的 HiveServer2 服务
nohup hive --service hiveserver2 &# 检查 hiveserver2 端口
lsof -i:10000

hadoop01:jps

hadoop03:jps

HiveServer2提供了WebUI:

2.使用DBeaver图形化界面工具

输入hiveserver2的地址与用户，第一次没有设置密码，默认为空，点击完成

在DBeaver界面工具上执行SQL语句

搭建完毕

总结

记录点点滴滴：
Hive高可用部署有 HiveServer2高可用（HA）和Metastore高可用（HA），下次配置下HiveServer2高可用（HA）

Hadoop环境搭建学习之Hive(4)相关推荐

Hadoop+hive+flask+echarts大数据可视化项目之系统数据整合和hadoop环境搭建
Hadoop+hive+flask+echarts大数据可视化项目(二) --------------系统数据整合和hadoop环境搭建---------------- 关注Hadoop+Hive+F ...
GitChat·大数据 | 史上最详细的Hadoop环境搭建
GitChat 作者:鸣宇淳原文: 史上最详细的Hadoop环境搭建关注公众号:GitChat 技术杂谈,一本正经的讲技术 [不要错过文末彩蛋] 前言 Hadoop在大数据技术体系中的地位至关重要 ...
【菜鸟窝】Hadoop生态系统、Hadoop虚拟机环境准备、Hadoop环境搭建（含安装包和教程）
hadoop环境搭建视频:https://www.cniao5.com/course/lessons/10244 1.1Hadoop简介 1.1.1Hadoop的诞生 Hadoop是由Apache L ...
Hadoop环境搭建及常见问题解决（保姆级教程）
Hadoop环境搭建及常见问题解决零.资源准备一.环境准备 1. 安装虚拟机 2. 环境准备 1) 创建新用户xiaobai 2) 安装ssh-server 3) 上传相关资源 [4)] 使用pu ...
zeppelin环境搭建及连接hive使用--简易版一看就会
zeppelin环境搭建及连接hive使用一.准备工作 1.zepeelin简介 2.安装包下载 3.环境要求二.解压安装三.修改配置文件 1.修改配置文件zeppelin-site.xml 2 ...
Hadoop环境搭建之zookeeper安装
Hadoop环境搭建一.预备知识 1.大数据导论 1.1 大数据概念大数据(big data),指无法在一定时间范围内用常规软件工具进行捕捉.管理和处理的数据集合,是需要新处理模式才能具有更强的决 ...
Hadoop环境搭建教学(二)完全分布式集群搭建；
Hadoop环境搭建教学(一)运行环境,集群规划介绍: 文章目录安装三台 CentOS 7系统一.X-Shell的准备工作二.基本工具安装三.关闭防火墙四.修改Host文件五.3.4.4 ...
Hadoop环境搭建教学(一)运行环境,集群规划介绍；
文章目录前言一.Hadoop的三种运行环境二.集群规划三.需要的基本软件安装下期见前言 Hadoop的运行环境可以是在Windows上,也可以在linux上,但在Windows上运行效率很 ...
Hadoop环境搭建(二)CentOS7的下载与安装
Hadoop环境搭建(一) VMware Workstation安装与网络配置 1. CentOS7的下载 https://wiki.centos.org/Download 2. CentOS7安 ...
【卷积神经网络环境搭建学习笔记】
卷积神经网络环境搭建学习笔记前言首先,特别感谢B站UP主:肆十二- csdn链接:https://blog.csdn.net/ECHOSON/article/details/117964438 再 ...

Hadoop环境搭建学习之Hive(4)

文章目录

前言