实验

目的

要求

目的：

（1）掌握数据仓库工具Hive的安装和配置；

要求：

完成Hive工具的安装和配置；
Hive工具能够正常启动运行；
Hive控制台命令能够正常使用；
能够正常操作数据库、表、数据；

实

验

环

境

五台独立PC式虚拟机；
主机之间有有效的网络连接；
每台主机内存2G以上，磁盘50G；
所有主机上安装CentOS7-64位操作系统；
所有主机已完成静态网络地址、主机名、主机地址映射的配置；
已完成Hadoop平台的搭建；
已完成MySQL数据库平台的搭建；

软件版本：

选用Hive的2.1.1版本，软件包名apache-hive-2.1.1-bin.tar.gz；

依赖软件：

*Hive工具使用JDBC方式连接MySQL数据库，需要用到MySQL数据库连接工具软件，选用该软件的5.1.42版本，软件包名mysql-connector-java-5.1.42-bin.jar；

实验内容

步骤一：Hive工具安装配置

★ Hive安装过程的所有操作步骤都需要使用admin用户进行。

★本项步骤只在集群中Cluster-01主机上进行操作即可。

1、把相关软件包apache-hive-2.1.1-bin.tar.gz和mysql-connector-java-5.1.42-bin.jar上传到admin用户家目录的新建“setups”目录下；

2、创建用于存放Hive相关文件的目录，并进入该目录，创建Hive的本地临时文件目录“tmp”，并将软件包解压解包到“hive”目录下；

命令：

$mkdir ~/hive

$cd ~/hive

$mkdir tmp

$tar -xzf ~/setups/apache-hive-2.1.1-bin.tar.gz

3、配置Hive相关的环境变量，给配置文件进行修改，并在文件末尾添加以下内容；

命令：

$vi ~/.bash_profile

写入内容：

#hive environment

HIVE_HOME=/home/admin/hive/apache-hive-2.1.1-bin

PATH=$HIVE_HOME/bin:$PATH

export HIVE_HOME PATH

4、生效环境变量，并查看验证；

命令：

$source ~/.bash_profile

$echo $HIVE_HOME

$echo $PATH

5、进入Hive的配置文件目录，Hive的配置文件默认都被命名为了模板文件，需要对其进行拷贝重命名之后才能使用:

命令：

$ cp hive-env.sh.template hive-env.sh

$ cp hive-log4j2.properties.template hive-log4j2.properties

$ cp hive-exec-log4j2.properties.template hive-exec-log4j2.properties

$ cp hive-default.xml.template hive-site.xml

6、对配置文件进行修改，找到相关配置项并对其值进行修改；

6.1、找到配置项“HADOOP_HOME”，该项用于指定Hadoop所在的路径，将其值改为以下内容：

HADOOP_HOME=/home/admin/hadoop/hadoop-2.7.3

6.2、找到配置项“HIVE_CONF_DIR”，该项用于指定Hive的配置文件所在的路径，将其值改为以下内容：

export

HIVE_CONF_DIR=/home/admin/hive/apache-hive-2.1.1-bin/conf

6.3、找到配置项“HIVE_AUX_JARS_PATH”，该项用于指定Hive的lib文件所在的路径，将其值改为以下内容：

export HIVE_AUX_JARS_PATH=/home/admin/hive/apache-hive-2.1.1-bin/lib

7、集群的启动；

★ 该项的所有操作步骤使用专门用于集群的用户admin进行。

★ 启动HBase集群之前首先确保Zookeeper集群已被开启状态。（实验5台），Zookeeper的启动需要分别在每个计算机的节点上手动启动。如果家目录下执行启动报错，则需要进入zookeeper/bin目录执行启动命令。

★ 启动HBase集群之前首先确保Hadoop集群已被开启状态。（实验5台）Hadoop只需要在主节点执行启动命令。

a) 在集群中所有主机上使用命令“zkServer.sh status”查看该节点Zookeeper服务当前的状态，若集群中只有一个“leader”节点，其余的均为“follower”节点，则集群的工作状态正常。如果Zookeeper未启动，则在集群中所有主机上使用命令“zkServer.sh start”启动Zookeeper服务的脚本;

b) 在主节点，查看Java进程信息，若有名为“NameNode”、“ResourceManager”的两个进程，则表示Hadoop集群的主节点启动成功。在每台数据节点，若有名为“DataNode”和“NodeManager”的两个进程，则表示Hadoop集群的数据节点启动成功, 如果不存在以上三个进程，则在主节点使用此命令,启动Hadoop集群。

主节点及备用主节点：

通信节点：

c) 确定Hadoop集群已启动状态，然后在主节点使用此命令,启动HBase集群, 在集群中所有主机上使用命令“jps”;

8、在HDFS中分别创建Hive的临时文件目录“tmp”，在HDFS中分别创建Hive的数据存储目录“warehouse”，在HDFS中分别创建Hive的日志文件目录“log”，添加三个目录的用户组写权限；

命令：

$ hadoop fs -mkdir -p /user/hive/tmp

$ hadoop fs -mkdir -p /user/hive/warehouse

$ hadoop fs -mkdir -p /user/hive/log

$ hadoop fs -chmod 777 /user/hive/tmp

$ hadoop fs -chmod 777 /user/hive/warehouse

$ hadoop fs -chmod 777 /user/hive/log

9、对配置文件hive-site.xml进行修改

找到下列标签“<name>”所标识的属性项名称所在位置，修改其标签“<value>”所标识的属性值部分的内容：

<configuration><!-- 指定Hive的数据临时文件存储目录，需要是位于HDFS上的目录 --><property><name>hive.exec.scratchdir</name><value>/user/hive/tmp</value></property><!-- 指定Hive的数据存储目录，需要是位于HDFS上的目录 --><property><name>hive.metastore.warehouse.dir</name><value>/user/hive/warehouse</value></property><!-- 指定Hive的日志文件目录，需要是位于HDFS上的目录--><property><name>hive.querylog.location</name><value>/user/hive/log</value><description>Location of Hive run time structured log file</description></property></configuration>

10、在MySQL数据库SQL服务节点Cluster-04中创建一个数据库“hive”用于存放Hive的元数据，该数据库的用户名和密码均为“hive”，数据库名、用户名、密码均可以自行设定，但需要与Hive配置文件中的内容相对应，连接MySQL数据库；

命令：

$ mysql -hCluster-04 -uroot -pmysqlabc

在控制台执行以下命令进行数据库的创建：

CREATE DATABASE hive;（创建数据库hive）

USE hive;（切换到新创建的hive数据库）

CREATE USER 'hive'@'%' IDENTIFIED BY 'hive';（创建数据库用户hive）

GRANT ALL ON hive.* TO 'hive'@'%';（设置hive数据库的访问权限，hive用户拥有所有操作权限并支持远程访问）

FLUSH PRIVILEGES;（刷新数据库权限信息）

show databases;

quit;（退出MySQL数据库控制台）

11、添加MySQL连接的相关配置信息；

命令：

$ vi ~/hive/apache-hive-2.1.1-bin/conf/hive-site.xml

找到下列标签“<name>”所标识的属性项名称所在位置，修改其标签“<value>”所标识的属性值部分的内容：

<configuration><!-- 指定Hive的日志文件目录，需要是位于HDFS上的目录 --><property><name>javax.jdo.option.ConnectionURL</name><value>jdbc:mysql://Cluster-04:3306/hive?createDatabaseIfNotExist=true&amp;characterEncoding=UTF-8&amp;useSSL=false</value></property><property><name>javax.jdo.option.ConnectionDriverName</name><value>com.mysql.jdbc.Driver</value></property><property><name>javax.jdo.option.ConnectionUserName</name><value>hive</value></property><property><name>javax.jdo.option.ConnectionPassword</name><value>hive</value></property></configuration>

12、将MySQL的数据库连接工具包添加到Hive的“lib”目录下；

命令：

$ cp -v ~/setups/mysql-connector-java-5.1.42-bin.jar ~/hive/apache-hive-2.1.1-bin/lib

13、添加MySQL连接的相关配置信息；

命令：

$ vi ~/hive/apache-hive-2.1.1-bin/conf/hive-site.xml

在编辑器中使用快捷键“:”进入到编辑器的命令模式，也称为末行模式，然后使用命令“%s#${system:java.io.tmpdir}#/home/admin/hive/tmp#g”以及“%s#${system:user.name}#${user.name}#g”替换掉配置文件中的原有配置内容。

14、对Hive进行格式化；

命令：

$ schematool -initSchema -dbType mysql

步骤二：Hive工具启动和验证

★ Hive安装过程的所有操作步骤都需要使用admin用户进行。

★本项步骤只在集群中Cluster-01主机上进行操作即可。

1、使用命令“hive”启动Hive，启动成功后能够进入Hive的控制台。

2、在控制台中使用命令“show databases;”查看当前的数据库列表。

3、在控制台中使用命令“show functions;”查看Hive的功能函数。

4、在控制台中使用命令“desc function sum;”或“desc function extended sum;”查看Hive的功能函数的详细信息。

5、在控制台中使用命令“quit;”或“exit;”退出Hive的控制台。

出现的问题与解决方案

错误1、启动hive ： ls: cannot access/home/hadoop/spark-2.2.0-bin-hadoop2.6/lib/spark-assembly-*.jar: No such fileor directory问题

sxc@master ~]$ hivels: cannot access /software/spark/spark-2.2.0-bin-hadoop2.7/lib/spark-assembly-*.jar: No such file or directory17/11/27 13:12:56 WARN conf.HiveConf: HiveConf of name hive.metastore.local does not existLogging initialized using configuration in jar:file:/software/hive/apache-hive-1.2.1-bin/lib/hive-common-1.2.1.jar!/hive-log4j.properties

原因：spark升级到spark2以后，原有lib目录下的大JAR包被分散成多个小JAR包，原来的spark-assembly-*.jar已经不存在，所以hive没有办法找到这个JAR包。

解决方法：

打开hive的安装目录下的bin目录，找到hive文件

找到如下的位置

# add Spark assembly jar to the classpathif [[ -n "$SPARK_HOME" ]]thensparkAssemblyPath=`ls ${SPARK_HOME}/lib/spark-assembly-*.jar`CLASSPATH="${CLASSPATH}:${sparkAssemblyPath}"fi

原因：

spark升级到spark2以后，原有lib目录下的大JAR包被分散成多个小JAR包，原来的spark-assembly-*.jar已经不存在，所以hive没有办法找到这个JAR包。

解决办法：把红色部分改为如下的样子就可以了

  # add Spark assembly jar to the classpathif [[ -n "$SPARK_HOME" ]]thensparkAssemblyPath=`ls ${SPARK_HOME}/jars/*.jar`CLASSPATH="${CLASSPATH}:${sparkAssemblyPath}"fi

知识点总结

HIVE和HBASE区别

1. 两者分别是什么？

Apache Hive是一个构建在Hadoop基础设施之上的数据仓库。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言，这种语言最终被转化为Map/Reduce. 虽然Hive提供了SQL查询功能，但是Hive不能够进行交互查询--因为它只能够在Haoop上批量的执行Hadoop。

Apache HBase是一种Key/Value系统，它运行在HDFS之上。和Hive不一样，Hbase的能够在它的数据库上实时运行，而不是运行MapReduce任务。Hive被分区为表格，表格又被进一步分割为列簇。列簇必须使用schema定义，列簇将某一类型列集合起来（列不要求schema定义）。例如，“message”列簇可能包含：“to”, ”from” “date”, “subject”, 和”body”. 每一个 key/value对在Hbase中被定义为一个cell，每一个key由row-key，列簇、列和时间戳。在Hbase中，行是key/value映射的集合，这个映射通过row-key来唯一标识。Hbase利用Hadoop的基础设施，可以利用通用的设备进行水平的扩展。

2. 两者的特点：

Hive帮助熟悉SQL的人运行MapReduce任务。因为它是JDBC兼容的，同时，它也能够和现存的SQL工具整合在一起。运行Hive查询会花费很长时间，因为它会默认遍历表中所有的数据。虽然有这样的缺点，一次遍历的数据量可以通过Hive的分区机制来控制。分区允许在数据集上运行过滤查询，这些数据集存储在不同的文件夹内，查询的时候只遍历指定文件夹（分区）中的数据。这种机制可以用来，例如，只处理在某一个时间范围内的文件，只要这些文件名中包括了时间格式。

HBase通过存储key/value来工作。它支持四种主要的操作：增加或者更新行，查看一个范围内的cell，获取指定的行，删除指定的行、列或者是列的版本。版本信息用来获取历史数据（每一行的历史数据可以被删除，然后通过Hbase compactions就可以释放出空间）。虽然HBase包括表格，但是schema仅仅被表格和列簇所要求，列不需要schema。Hbase的表格包括增加/计数功能。

3. 限制

Hive目前不支持更新操作。另外，由于hive在hadoop上运行批量操作，它需要花费很长的时间，通常是几分钟到几个小时才可以获取到查询的结果。Hive必须提供预先定义好的schema将文件和目录映射到列，并且Hive与ACID不兼容。

HBase查询是通过特定的语言来编写的，这种语言需要重新学习。类SQL的功能可以通过Apache Phonenix实现，但这是以必须提供schema为代价的。另外，Hbase也并不是兼容所有的ACID特性，虽然它支持某些特性。最后但不是最重要的--为了运行Hbase，Zookeeper是必须的，zookeeper是一个用来进行分布式协调的服务，这些服务包括配置服务，维护元信息和命名空间服务。

4. 应用场景

Hive适合用来对一段时间内的数据进行分析查询，例如，用来计算趋势或者网站的日志。Hive不应该用来进行实时的查询。因为它需要很长时间才可以返回结果。

Hbase非常适合用来进行大数据的实时查询。Facebook用Hbase进行消息和实时的分析。它也可以用来统计Facebook的连接数。

5. 总结

Hive和Hbase是两种基于Hadoop的不同技术--Hive是一种类SQL的引擎，并且运行MapReduce任务，Hbase是一种在Hadoop之上的NoSQL 的Key/vale数据库。当然，这两种工具是可以同时使用的。就像用Google来搜索，用FaceBook进行社交一样，Hive可以用来进行统计查询，HBase可以用来进行实时查询，数据也可以从Hive写到Hbase，设置再从Hbase写回Hive。

Hive环境安装之浏览器访问配置

1、下载hive-2.1.1-src.tar.gz

然后进入目录${HIVE_SRC_HOME}/hwi/web，执行打包命令:

#jar -cvf hive-hwi-1.2.2.war *

2、得到hive-hwi-1.2.2.war文件，复制到hive下的lib目录中；

3、修改hive的配置文件hive-site.xml；

4、启动Hive的web；

命令：$hive –service hwi

5、通过web方式管理Hive；

Hadoop集群搭建（八：Hive的安装配置）相关推荐

Hadoop集群搭建之SSH无密码登录配置
一.准备工作 1) 用客户端工具(ssh client或者putty)连接到linux服务器.在root用户下输入命令: vi /etc/hosts ,用vi编辑hosts文件,如下: #127.0. ...
【大数据实战】Docker中Hadoop集群搭建
目录 Docker中Hadoop集群搭建环境网络设置安装docker 安装OpenSSH免密登录 Ansible安装软件环境配置配置hadoop运行所需配置文件 Hadoop 启动问题 D ...
Hadoop集群搭建之Hadoop组件安装
兵马未动,粮草先行 --汉语成语系列文章目录 Hadoop集群搭建之Linux系统安装 Hadoop集群搭建之Hadoop组件安装文章目录系列文章目录前言一.IP和主机名称配置 (一)Had ...
大数据Hadoop集群搭建
大数据Hadoop集群搭建一.环境服务器配置: CPU型号:Intel® Xeon® CPU E5-2620 v4 @ 2.10GHz CPU核数:16 内存:64GB 操作系统版本:CentO ...
Hadoop3集群搭建之——hive添加自定义函数UDTF （一行输入，多行输出）
上篇: Hadoop3集群搭建之--虚拟机安装 Hadoop3集群搭建之--安装hadoop,配置环境 Hadoop3集群搭建之--配置ntp服务 Hadoop3集群搭建之--hive安装 Hadoo ...
大数据项目开发hadoop集群搭建 python爬取前程无忧招聘网信息以及进行数据分析和数据可视化
大数据项目开发实训报告一.Hadoop环境搭建 1: jdk的安装 1):在linux系统下的opt目录下创建software 和 module 两个目录 2):利用filezilla工具将 jdk ...
在Linux中进行hadoop集群搭建
在公网IP为x.x.x.x.y.y.y.y和z.z.z.z并装有Centos8的服务器上进行hadoop集群搭建,都安装hadoop-3.1.3和server-jre-8u202-linux-x64. ...
好程序员大数据笔记之：Hadoop集群搭建
好程序员大数据笔记之:Hadoop集群搭建在学习大数据的过程中,我们接触了很多关于Hadoop的理论和操作性的知识点,尤其在近期学习的Hadoop集群的搭建问题上,小细节,小难点拼频频出现,所以,今天 ...
linux hadoop集群搭建,hadoop集群搭建
hadoop集群搭建步骤实验介绍下面将要在三台linux虚拟机上搭建hadoop集群. 知识点 linux基本命令集群安装完成实验需要以下相关知识解压命令 tar -zxvf XX.tar. ...
Hadoop 集群搭建
Hadoop 集群搭建 2016-09-24 杜亦舒目标在3台服务器上搭建 Hadoop2.7.3 集群,然后测试验证,要能够向 HDFS 上传文件,并成功运行 mapreduce 示例程序搭建 ...

Hadoop集群搭建（八：Hive的安装配置）