安装数据仓库Hive

实验目的要求
实验环境
软件版本
实验步骤
- 步骤一：Hive工具安装配置
- 步骤二：开启zookeeper集群，Hadoop集群以及HBase集群
- 步骤三：创建hive元数据数据库
- 步骤五：Hive工具启动和验证

实验目的要求

目的：
1、数据仓库工具Hive的安装和配置
2、掌握数据仓库工具Hive的安装和配置
要求：
1、完成Hive工具的安装和配置
2、Hive工具能够正常启动运行
3、Hive控制台命令能够正常使用
4、能够正常操作数据库、表、数据

实验环境

1、一台独立PC机或虚拟机
2、每台主机内存2G以上，磁盘剩余空间500M以上
3、已安装CentOS 7.4操作系统
4、已安装JDK
5、已完成Hadoop平台的搭建
6、已完成MySQL数据库平台的搭建

软件版本

选用Hive的2.1.1版本，软件包名apache-hive-2.1.1-bin.tar.gz;
依赖软件：Hive工具使用JDBC方式连接MySQL数据库，需要用到MySQL数据库连接工具软件，选用该软件的5.1.42版本，软件包名mysql-connector-java-5.1.42-bin.jar

实验步骤

步骤一：Hive工具安装配置

*Hive工具安装过程的所有操作步骤都需要使用admin用户进行；
*此项步骤只在集群中Cluster-01主机上进行操作即可；
1、首先，Hive相关软件包上传到admin用户家目录的新建“setups”目录下，并解压软件包到“Hive”目录下。

2、配置Hive相关的环境变量

3、使环境变量生效，并查看新添加和修改的环境变量是否成功，以及环境变量的值是否正确。

4、进入Hive的配置文件目录。Hive的配置文件默认都被命名为了模板文件，需要对其进行靠欸重命名之后才能使用。

5、修改配置文件,找到相关配置项并对其值进行修改。

#vi hive-env.sh

步骤二：开启zookeeper集群，Hadoop集群以及HBase集群

*该项的所有操作步骤使用专门用于集群的用户admin进行。
*启动HBase集群之前首先要确保Zookeeper集群已被开启的状态。（实验5台）
Zookeeper的启动需要分别在每个计算机的节点上手动启动。如果加目录下执行启动报错，则需要进入zookeeper/bin目录执行启动命令。
*启动HBase集群之前首先确保Hadoop集群已被开启状态。（实验5台）
Hadoop只需要在主节点执行启动命令。
1、在集群所有主机上启动Zookeeper服务

2、在主节点查看java进程信息，若有名为“NameNode”、“ResourceManager”的两个进程，则表示Hadoop集群的主节点启动成功。在每台数据节点，若有名为“DataNode”和“NodeManager”两个进程，则表示Hadoop集群的数据节点启动成功。

3、确定Hadoop集群已开启状态，然后在主节点使用此命令，启动HBase集群，并在集群所有主机上查看HBase集群启动状态。

4、在HDFS中分别创建Hive的临时文件“tmp”，数据存储目录“warehouse”，日志文件目录“log”，并且添加三个目录的用户组写权限。

5、修改配置文件hive-site.xml

步骤三：创建hive元数据数据库

*只有本操作步骤需要使用root用户进行。
*只有本项步骤只在集群中Cluster-04主机上进行操作即可。
1、启动mysql集群

2、在MySQL数据库SQL服务节点Cluster-04中创建一个数据库“hive”用于存放hive的元数据，该数据库的用户名和密码均为“hive”，数据库名、用户名、密码均可以自行设定，但需要与Hive配置文件中的内容相对应，连接MySQL数据库。

3、添加MySQL连接的相关配置信息
*从此步往后面Hive安装过程的所有操作步骤都需要使用admin用户进行。
*后面步骤只在集群中Cluster-01主机上进行操作即可。

4、将MySQL的数据库连接工具包添加到Hive的“lib”目录下

#cp -v ~/setups/mysql-connector-java-5.1.42-bin.jar ~/hive/apache-hive-2.1.1-bin/lib

5、添加MySQL连接的相关配置信息。
在编辑器中使用快捷键“：”进入到编辑器的命令模式，也成为末行模型，然后使用命令

“%s#${system:java.io.tmpdir}#/home/admin/hive/tmp#g”以及

“%s#KaTeX parse error: Expected 'EOF', got '#' at position 19: …stem:user.name}#̲{user.name}#g”替换掉配置文件中的原有配置内容。保存退出。
6、对Hive进行初始化

步骤五：Hive工具启动和验证

*Hive安装过程的所有操作步骤都需要使用admin用户进行。
*本项步骤只在集群中Cluster-01主机上进行操作即可。
1、使用命令“hive”启动Hive，启动成功后能够进入Hive的控制台；
在控制台中使用命令“show databases;”查看当前的数据库列表。

2、在控制台中使用命令“show functions;”查看Hive的功能函数。

3、在控制台中使用命令“desc function sum;”或“desc function extended sum;”查看Hive的功能函数的详细信息；使用命令“quit;”或“exit;”退出Hive的控制台。

（实验七）Hadoop集群安装之安装数据仓库Hive相关推荐

Hadoop集群搭建（八：Hive的安装配置）
实验目的要求目的: (1)掌握数据仓库工具Hive的安装和配置: 要求: 完成Hive工具的安装和配置: Hive工具能够正常启动运行: Hive控制台命令能够正常使用: 能够正常操作数据库.表 ...
大规模Hadoop集群在腾讯数据仓库TDW的实践
随着业务的快速增长,TDW的节点数也在增加,对单个大规模Hadoop集群的需求也越来越强烈.TDW需要做单个大规模集群,主要是从数据共享.计算资源共享.减轻运营负担和成本等三个方面考虑. 1. 数据共 ...
mac搭建hadoop集群二之hadoop安装
上一篇我们已经准备好三台虚拟机,计划一主两从搭建hadoop集群.没安装的可以参考一下. 虚拟机安装传送门:mac搭建hadoop集群之虚拟机安装集群规划主机角色 node1 NN DN RM ...
阿里云ECS服务器部署HADOOP集群（三）：ZooKeeper 完全分布式集群搭建
本篇将在阿里云ECS服务器部署HADOOP集群(一):Hadoop完全分布式集群环境搭建的基础上搭建,多添加了一个 datanode 节点 . 1 节点环境介绍: 1.1 环境介绍: 服务器:三台阿里 ...
记一则神秘JDK版本引发的hadoop集群慢性崩溃”血案“
一.症状表现前些时间公司在外省机房部署了一套新hadoop集群,所有机子都装的是centos,跑了一个礼拜莫名其妙的出现了计算节点的心跳间隔变得越来越大,最终导致计算节点挂掉,遇到问题第一时间就是看 ...
三、Hadoop系统应用之Hadoop集群测试及初体验（超详细步骤指导操作，WIN10，VMware Workstation 15.5 PRO，CentOS-6.7）
Hadoop集群搭建前安装准备参考: 一.Hadoop系统应用之安装准备(一)(超详细步骤指导操作,WIN10,VMware Workstation 15.5 PRO,CentOS-6.7) 一.Ha ...
超详细的Hadoop集群部署
本文建立在已经把虚拟机ip环境等已经下载好情况下. 那么,直接开始今天的正题: 搭建集群环境准备这里提供两种思路:一种是将一台直接搭建好,后面的克隆或者copy虚拟机一种是3台并进,多次进行虚拟 ...
Hadoop集群搭建（七：MySQL的安装配置）
实验目的要求目的: 1.掌握MySQL在集群平台中的安装要求: 完成MySQL的集群版的安装: MySQL集群的相关服务进程能够正常启动: MySQL集群的SQL服务能够作为系统服务开机自动启 ...
学习笔记Hadoop（七）—— Hadoop集群的安装与部署（4）—— 配置Hadoop集群
四.配置Hadoop集群 Hadoop集群总体规划 Hadoop集群安装采用下面步骤: 在Master节点:上传并解压Hadoop安装包 . 在Master节点:配置Hadoop所需configura ...

（实验七）Hadoop集群安装之安装数据仓库Hive