Hive 基本概念

• 什么是Hive

Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。

• 为什么使用Hive

Ø 直接使用hadoop所面临的问题
人员学习成本太高
项目周期要求太短
MapReduce实现复杂查询逻辑开发难度太大
Ø 为什么要使用Hive
操作接口采用类SQL语法，提供快速开发的能力。
避免了去写MapReduce，减少开发人员的学习成本。
扩展功能很方便。

• Hive的特点

Ø 可扩展
Hive可以自由的扩展集群的规模，一般情况下不需要重启服务。
Ø 延展性
Hive支持用户自定义函数，用户可以根据自己的需求来实现自己的函数。
Ø 容错
良好的容错性，节点出现问题SQL仍可完成执行。

• Hive架构

Jobtracker是hadoop1.x中的组件，它的功能相当于： Resourcemanager+AppMaster

TaskTracker 相当于： Nodemanager + yarnchild

• 基本组成

Ø 用户接口：包括 CLI、JDBC/ODBC、WebGUI。
Ø 元数据存储：通常是存储在关系数据库如 mysql , derby中。
Ø 解释器、编译器、优化器、执行器。

• 各组件的基本功能

Ø 用户接口主要由三个：CLI、JDBC/ODBC和WebGUI。其中，CLI为shell命令行；JDBC/ODBC是Hive的JAVA实现，与传统数据库JDBC类似；WebGUI是通过浏览器访问Hive。
Ø 元数据存储：Hive 将元数据存储在数据库中。Hive 中的元数据包括表的名字，表的列和分区及其属性，表的属性（是否为外部表等），表的数据所在目录等。
Ø 解释器、编译器、优化器完成 HQL 查询语句从词法分析、语法分析、编译、优化以及查询计划的生成。生成的查询计划存储在 HDFS 中，并在随后有 MapReduce 调用执行。

• Hive与Hadoop的关系

• Hive与传统数据库对比

• 注意：hive具有sql数据库的外表，但应用场景完全不同，hive只适合用来做批量数据统计分析
• Hive的数据存储

1、Hive中所有的数据都存储在 HDFS 中，没有专门的数据存储格式（可支持Text，SequenceFile，ParquetFile，RCFILE等）
2、只需要在创建表的时候告诉 Hive 数据中的列分隔符和行分隔符，Hive 就可以解析数据。
3、Hive 中包含以下数据模型：DB、Table，External Table，Partition，Bucket。
db：在hdfs中表现为${hive.metastore.warehouse.dir}目录下一个文件夹
table：在hdfs中表现所属db目录下一个文件夹
external table：外部表, 与table类似，不过其数据存放位置可以在任意指定路径
普通表: 删除表后, hdfs上的文件都删了
External外部表删除后, hdfs上的文件没有删除, 只是把文件删除了
partition：在hdfs中表现为table目录下的子目录bucket：桶, 在hdfs中表现为同一个表目录下根据hash散列之后的多个文件, 会根据不同的文件把数据放到不同的文件中

下面来安装 HIVE 吧！

Hive 学习环境 搭建

环境说明：

单机版
源数据库 MySQL
系统：CentOS6.7
Hadoop集群：3 台

• 【mini61-192.168.25.201】NameNode
• 【mini62-192.168.25.202】DataNode
• 【mini62-192.168.25.203】DataNode

安装 MySQL:

可参考：

CentOS6.5安装MySQL5.7详细教程 - $nail - 博客园​www.cnblogs.com

CentOS6.5安装MySQL5.5​blog.csdn.net

本次MySQL安装在主机：【mini62】中

注意：删除匿名用户，允许用户远程连接

mysql>use mysql;
mysql> grant all privileges on *.* to root@'%' identified by '123456';
mysql>GRANT ALL PRIVILEGES ON *.* TO 'root'@'%'WITH GRANT OPTION ;
mysql>flush privileges;

安装 Hive

参考：

Hive安装与配置 - Kinginme - 博客园​www.cnblogs.com

官方文档：

Apache Software Foundation​cwiki.apache.org

本次安装 hive1.2.1

• 下载：

Index of /apache/hive​mirror.bit.edu.cnDownloads​hive.apache.org

• 使用工具上传 hive 压缩包到 虚拟机
• 解压

切换 root 用户配置环境变量：

# vi /etc/profile
#增加Hive环境变量
export HIVE_HOME=/home/hadoop/app/hive  # 你解压后 Hive 的目录
export PATH=${HIVE_HOME}/bin:$PATH

刷新环境变量 ：source /etc/profile

进入 HIVE_HOME / conf/ 目录：

配置元数据库信息

新建文件：

$vi  hive-site.xml 

添加下面内容：(注意：hive-default.xml.template 配置内容过多，本次新建文件简单配置)

javax.jdo.option.ConnectionUserName 数据库用户名

javax.jdo.option.ConnectionPassword 对应数据库用户密码

javax.jdo.option.ConnectionURL MySQL 地址

<configuration><property><name>javax.jdo.option.ConnectionURL</name><value>jdbc:mysql://mini62:3306/hive?createDatabaseIfNotExist=true</value><description>JDBC connect string for a JDBC metastore</description></property>
​<property><name>javax.jdo.option.ConnectionDriverName</name><value>com.mysql.jdbc.Driver</value><description>Driver class name for a JDBC metastore</description></property>
​<property><name>javax.jdo.option.ConnectionUserName</name><value>root</value><description>username to use against metastore database</description></property>
​<property><name>javax.jdo.option.ConnectionPassword</name><value>123456</value><description>password to use against metastore database</description></property>
</configuration>

问题：

Jline包版本不一致的问题，需要拷贝hive的lib目录中jline.2.12.jar的jar包替换掉hadoop中的 /home/hadoop/app/hadoop-2.6.4/share/hadoop/yarn/lib/jline-0.9.94.jar

添加 MySQL 驱动包到 HIVE_HOME/lib 目录下

可到Maven

mysql " mysql-connector-java​mvnrepository.com

MySQL驱动包

启动Hive

如配置了环境变量可直接执行 hive 命令启动

如果没有配置环境变量，在 HIVE_HOME/bin 目录下执行 hive 启动

启动报错：

[ERROR] Terminal initialization failed; falling back to unsupported
java.lang.IncompatibleClassChangeError: Found class jline.Terminal, but interface was expected

Jline包版本不一致的问题，需要拷贝hive的lib目录中jline.2.12.jar的jar包替换掉hadoop中的 HADOOP_HOME /share/hadoop/yarn/lib/jline-0.9.94.jar

启动完成：

大数据专栏​zhuanlan.zhihu.com