Hive（2）：Apache Hive 安装部署

1 元数据相关名词

1.1 Metadata

Metadata即元数据。元数据包含用Hive创建的database、table、表的位置、类型、属性，字段顺序类型等元信息。元数据存储在关系型数据库中。如hive内置的Derby、或者第三方如MySQL等。

1.2 Metastore

Metastore即元数据服务。Metastore服务的作用是管理metadata元数据，对外暴露服务地址，让各种客户端通过连接metastore服务，由metastore再去连接MySQL数据库来存取元数据。

有了metastore服务，就可以有多个客户端同时连接，而且这些客户端不需要知道MySQL数据库的用户名和密码，只需要连接metastore 服务即可。某种程度上也保证了hive元数据的安全。

2 metastore三种配置方式

metastore服务配置有3种模式：内嵌模式、本地模式、远程模式。区分3种配置方式的关键是弄清楚两个问题：

Metastore服务是否需要单独配置、单独启动？
Metadata是存储在内置的derby中，还是第三方RDBMS,比如Mysql。

2.1 内嵌模式

内嵌模式（Embedded Metastore）是metastore默认部署模式。此种模式下，元数据存储在内置的Derby数据库，并且Derby数据库和metastore服务都嵌入在主HiveServer进程中，当启动HiveServer进程时，Derby和metastore都会启动。不需要额外起Metastore服务。

但是一次只能支持一个活动用户，适用于测试体验，不适用于生产环境。

2.2 本地模式

本地模式（Local Metastore）下，Hive Metastore服务与主HiveServer进程在同一进程中运行，但是存储元数据的数据库在单独的进程中运行，并且可以在单独的主机上。metastore服务将通过JDBC与metastore数据库进行通信。

本地模式采用外部数据库来存储元数据，推荐使用MySQL。

hive根据hive.metastore.uris 参数值来判断，如果为空，则为本地模式。

缺点是：每启动一次hive服务，都内置启动了一个metastore。

2.3 远程模式

远程模式（Remote Metastore）下，Metastore服务在其自己的单独JVM上运行，而不在HiveServer的JVM中运行。如果其他进程希望与Metastore服务器通信，则可以使用Thrift Network API进行通信。

在生产环境中，建议用远程模式来配置Hive Metastore。在这种情况下，其他依赖hive的软件都可以通过Metastore访问hive。由于还可以完全屏蔽数据库层，因此这也带来了更好的可管理性/安全性。

远程模式下，需要配置hive.metastore.uris 参数来指定metastore服务运行的机器ip和端口，并且需要单独手动启动metastore服务。

3 Hive部署实战

安装前准备

由于Apache Hive是一款基于Hadoop的数据仓库软件，通常部署运行在Linux系统之上。因此不管使用何种方式配置Hive Metastore，必须要先保证服务器的基础环境正常，Hadoop集群健康可用。

服务器基础环境

集群时间同步、防火墙关闭、主机Host映射、免密登录、JDK安装

Hadoop集群

启动Hive之前必须先启动Hadoop集群。特别要注意，需等待HDFS 安全模式关闭之后再启动运行Hive。

Hive不是分布式安装运行的软件，其分布式的特性主要借由Hadoop完成。包括分布式存储、分布式计算。

3.1 内嵌模式安装

(1)上传压缩安装包

# 上传解压安装包
cd /home/
tar zxvf apache-hive-3.1.2-bin.tar.gz
mv apache-hive-3.1.2-bin hive-3.1.2

(2) 解决hadoop、hive之间guava版本差异

#解决hadoop、hive之间guava版本差异
cd /homw/hive
rm -rf lib/guava-19.0.jar
cp /home/hadoop-2.5.0/share/hadoop/common/lib/guava-27.0-jre.jar ./lib/

(3)修改hive环境变量文件添加Hadoop_HOME

#修改hive环境变量文件 添加Hadoop_HOME
cd /home/hive-3.1.2/conf/
mv hive-env.sh.template hive-env.sh
vim hive-env.sh
export HADOOP_HOME=/home/hadoop-2.5.0
export HIVE_CONF_DIR=/home/hive-3.1.2/conf
export HIVE_AUX_JARS_PATH=/home/hive-3.1.2/lib

(4)初始化metadata

#初始化metadata
cd /home/hive
bin/schematool -dbType derby -initSchema

(5)启动服务

#启动hive服务
bin/hive

注意：Hive3版本需要用户手动进行元数据初始化动作。内嵌模式下，判断是否初始化成功的依据是执行命令之后输出信息和执行命令的当前路径下是否有文件产生。

注意：该模式每次换目录就需要重新初始化，数据无法共享。

3.2 本地模式安装

本地模式和内嵌模式最大的区别就是：本地模式使用mysql来存储元数据。

注意：需要先准备mysql环境，请自行准备

（1）上传解压安装包

# 上传解压安装包
cd /home/
tar zxvf apache-hive-3.1.2-bin.tar.gz
mv apache-hive-3.1.2-bin hive-3.1.2

（2）解决hadoop、hive之间guava版本差异

#解决hadoop、hive之间guava版本差异
cd /home/hive-3.1.2
rm -rf lib/guava-19.0.jar
cp /home/hadoop-3.1.4/share/hadoop/common/lib/guava-27.0-jre.jar ./lib/

（3）添加mysql jdbc驱动到hive安装包lib/文件下，根据自己mysql的版本选择相应的mysql驱动

（4）修改hive环境变量文件添加Hadoop_HOME

#修改hive环境变量文件 添加Hadoop_HOME
cd /export/server/hive-3.1.2/conf/
mv hive-env.sh.template hive-env.sh
vim hive-env.sh
export HADOOP_HOME=/home/hadoop-2.5.0
export HIVE_CONF_DIR=/home/hive-3.1.2/conf
export HIVE_AUX_JARS_PATH=/home/hive-3.1.2/lib

（5）新增hive-site.xml 配置mysql等相关信息

#新增hive-site.xml 配置mysql等相关信息
vim hive-site.xml

<configuration><!-- 存储元数据mysql相关配置 --><property><name>javax.jdo.option.ConnectionURL</name><value> jdbc:mysql://192.168.222.130:3306/hive?createDatabaseIfNotExist=true&amp;useSSL=false&amp;useUnicode=true&amp;characterEncoding=UTF-8</value></property><property><name>javax.jdo.option.ConnectionDriverName</name><value>com.mysql.jdbc.Driver</value></property><property><name>javax.jdo.option.ConnectionUserName</name><value>root</value></property><property><name>javax.jdo.option.ConnectionPassword</name><value>123456</value></property><!-- 关闭元数据存储授权  --><property><name>hive.metastore.event.db.notification.api.auth</name><value>false</value></property><!-- 关闭元数据存储版本的验证 --><property><name>hive.metastore.schema.verification</name><value>false</value></property>
</configuration>

（6）初始化metadata

#初始化metadata
cd /home/hive-3.1.2
bin/schematool -initSchema -dbType mysql -verbos
#初始化成功会在mysql中创建74张表

（7）启动hive服务

#启动hive服务
bin/hive

3.3 远程模式安装

选择node1作为hive安装的机器。大家可以根据自己实际情况调整机器位置，注意主机名和IP和等信息的变更。

注意：该模式也需要有mysql环境，请自行安装

(1)上传解压安装包

# 上传解压安装包
cd /home/
tar zxvf apache-hive-3.1.2-bin.tar.gz
mv apache-hive-3.1.2-bin hive-3.1.2

(2)解决hadoop、hive之间guava版本差异

#解决hadoop、hive之间guava版本差异
cd /home/hive
rm -rf lib/guava-19.0.jar
cp /home/hadoop-3.1.4/share/hadoop/common/lib/guava-27.0-jre.jar ./lib/

（3）添加mysql jdbc驱动到hive安装包lib/文件下，根据自己mysql的版本选择相应的mysql驱动

（4）修改hive环境变量文件添加Hadoop_HOME

#修改hive环境变量文件 添加Hadoop_HOME
cd /export/server/hive-3.1.2/conf/
mv hive-env.sh.template hive-env.sh
vim hive-env.sh
export HADOOP_HOME=/home/hadoop-2.5.0
export HIVE_CONF_DIR=/home/hive-3.1.2/conf
export HIVE_AUX_JARS_PATH=/home/hive-3.1.2/lib

(5)初始化metadata

#初始化metadata
cd /home/hive-3.1.2
bin/schematool -initSchema -dbType mysql -verbos
#初始化成功会在mysql中创建74张表

(6)新增hive-site.xml 配置mysql等相关信息

#新增hive-site.xml 配置mysql等相关信息
vim hive-site.xml

<configuration><!-- 存储元数据mysql相关配置 --><property><name>javax.jdo.option.ConnectionURL</name><value> jdbc:mysql://192.168.222.132:3306/hiveremote?createDatabaseIfNotExist=true&amp;useSSL=false&amp;useUnicode=true&amp;characterEncoding=UTF-8</value></property><property><name>javax.jdo.option.ConnectionDriverName</name><value>com.mysql.jdbc.Driver</value></property><property><name>javax.jdo.option.ConnectionUserName</name><value>root</value></property><property><name>javax.jdo.option.ConnectionPassword</name><value>123456</value></property><!-- H2S运行绑定host --><property><name>hive.server2.thrift.bind.host</name><value>hadoop138.com</value></property><!-- 远程模式部署metastore 服务地址 --><property><name>hive.metastore.uris</name><value>thrift://hadoop138.com:9083</value></property><!-- 关闭元数据存储授权  --><property><name>hive.metastore.event.db.notification.api.auth</name><value>false</value></property><!-- 关闭元数据存储版本的验证 --><property><name>hive.metastore.schema.verification</name><value>false</value></property>
</configuration>

(7)远程模式Metastore服务手动启动

如果不启动Metastore，直接启动hive会出现报错，如下：

启动Metastore有三种方式，如下：

#前台启动  关闭ctrl+c
/home/hive-3.1.2/bin/hive --service metastore#后台启动 进程挂起  关闭使用jps + kill
#输入命令回车执行 再次回车 进程将挂起后台
nohup /home/hive-3.1.2/bin/hive --service metastore &#前台启动开启debug日志
/home/hive-3.1.2/bin/hive --service metastore --hiveconf hive.root.logger=DEBUG,console

(8)启动服务

#启动hive服务
bin/hive