Hive基础

一、什么是Hive
- 1、Hive特点
二、Hive的安装
- 1、检查hadoop环境
- - （1）查看Hadoop版本
  - （2）启动进程
- 2、安装MySQL
- - （1）安装MySQL
  - （2）查看账号密码
  - （3）使用默认账号登录MySQL数据库
  - （4）创建Hive账户
  - （5）授予Hive用户操纵数据库的权限
  - （6）退出MySQL数据库
- 3、安装Hive
- - （1）上传HIve到/home/hadoop
  - （2）把Hive解压到/usr/local 中
  - （3）进入/usr/local目录，将解压后的目录重命名为 hive
  - （4）修改hive的拥有者为hadoop
- 4、配置Hive
- - （1）进入hive配置文件目录
  - （2）创建hive-site.xml文件配置信息
  - （3）进入hive的依赖库目录
  - （4）上传mysql的驱动文件到lib目录
  - （5）进入hadoop软件的配置文件目录
  - （6）编辑core-site.xml文件
  - （7）进入Hadoop的家目录编辑环境变量文件
  - （8）在环境变量文件中添加内容
  - （9）刷新环境变量
  - （10）初始化Hive
  - （11）查询Hive默认数据库列表，验证安装

一、什么是Hive

Hive是Hadop生态系统中必不可少的一个工具。
它可以将存储在HDES中的结构化数据映射为数据库中的一张表，并提供了一种SQL方言对其进行查询。
这些SQL语句最终会翻译成MapReduce程序执行。Hive的本质就是为了简化用户编写MapReduce程序而生成的一种框架，它本身并不会存储和计算数据，完全依赖于HDFS和MapReduce。

Hive提供了一个被成为Hive查询语言(简称HiveQ或HQL)的SQL方言，来查询存储在Hadoop集群中的数据。Hive降低了传统数据分析系统转移到Hadoop系统上的难度。凡是会使用SQL语言的开发人员都可以轻松的学会和使用Hive。如果没有Hive,那么这些人员就必须学习新的语言和工具，然后才能应用到新的生产环境中。不过，Hive 和其它基于SQL的环境(MySQL)还是有一些差异的。

1、Hive特点

Hive是基于Hadoop的应用程序，受限于Hadoop的设计，Hive不能提供完整的数据库功能。最大的限制就是Hive不支持行级别的更新、插入或者删除操作。同时，因为MapReduce任务的启动过程需要消耗较长的时间，所有Hive查询延迟比较严重。传统数据库中在秒级别可以完成的查询，在Hive中，即使数据集相对较小，往往也需要执行更长的时间。最后需要说明的是，Hive 不支持事务。

二、Hive的安装

Hive的运行依赖于Hadoop，所以安装Hive前需要安装好Hadoop。

Hive的基本安装配置包括以下步骤：

1、检查Hadoop环境
2、安装MySQL
3、安装Hive
4、配置Hive

1、检查hadoop环境

（1）查看Hadoop版本

代码如下:

hadoop version

（2）启动进程

当前目录是/home/hadoop
先切换目录cd /usr/local/hadoop
代码如下:

cd /usr/local/hadoop

启动进程并查看
代码如下:

./sbin/start-dfs.sh
./sbin/start-ysrn.sh
jps

2、安装MySQL

（1）安装MySQL

代码如下:

sudo apt-get install mysal-server

（2）查看账号密码

代码如下:

sudo cat /etc/mysql/debian.cnf

（3）使用默认账号登录MySQL数据库

代码如下:

mysql -u debian-sys-maint -p

（4）创建Hive账户

代码如下:

CREATE USER 'hive'@'%' IDENTIFIED BY '123456';

（5）授予Hive用户操纵数据库的权限

代码如下:

GRANT ALL PRIVILEGES ON hive.* TO 'hive'@'%';
FLUSH PRIVILEGES;

（6）退出MySQL数据库

代码如下:

exit

3、安装Hive

（1）上传HIve到/home/hadoop

（2）把Hive解压到/usr/local 中

代码如下:

sudo tar -xvf apache-hive-2.3.7-bin.tar.gz -C /usr/local

（3）进入/usr/local目录，将解压后的目录重命名为 hive

代码如下:

cd /usr/local
sudo mv apache-hive-2.3.7-bin hive

（4）修改hive的拥有者为hadoop

代码如下:

sudo chown -R hadoop hive

4、配置Hive

（1）进入hive配置文件目录

代码如下:

cd /usr/local/hive/conf

（2）创建hive-site.xml文件配置信息

代码如下:

vim hive-site.xml

配置内容如下：
需要在hive目录下创建tmp目录

<configuration><property><name>system:java.io.tmpdir</name><value>/usr/local/hive/tmp</value></property><property><name>system:user.name</name><value>hadoop</value></property><property><name>javax.jdo.option.ConnectionUserName</name><value>hive</value></property><property><name>javax.jdo.option.ConnectionPassword</name><value>123456</value></property><property><name>javax.jdo.option.ConnectionURL</name><value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true&amp;useSSL=false</value></property><property><name>javax.jdo.option.ConnectionDriverName</name><value>com.mysql.jdbc.Driver</value></property></configuration>

（3）进入hive的依赖库目录

代码如下:

cd /usr/local/hive/lib

（4）上传mysql的驱动文件到lib目录

（5）进入hadoop软件的配置文件目录

代码如下:

cd /usr/local/hadoop/etc/hadoop

（6）编辑core-site.xml文件

代码如下:

vim core-site.xml

配置内容如下:

<property><name>hadoop.proxyuser.hadoop.groups</name><value>*</value>
</property>
<property><name>hadoop.proxyuser.hadoop.hosts</name><value>*</value>
</property>

（7）进入Hadoop的家目录编辑环境变量文件

代码如下:

cd ~
vim .bashrc

（8）在环境变量文件中添加内容

添加内容如下:

export HADOOP_HOME=/usr/local/hadoop
export HIVE_HOME=/usr/local/hive
export PATH=${HIVE_HOME}/bin:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:$PATH

（9）刷新环境变量

代码如下:

source.bashrc

（10）初始化Hive

代码如下:

schematool -dbType mysql -initSchema

初始化成功

（11）查询Hive默认数据库列表，验证安装

代码如下:

hive -e 'show databases'

安装成功

hive文件：

https://pan.baidu.com/s/1iCjmb9hdhnnL1kI0VzaCxg

Hive基础（安装）相关推荐

Hive 基础及安装
为什么选择 Hive? 基于Hadoop的大数据的计算/扩展能力支持SQL like查询语言统一的元数据管理简单编程 Hive 是一种客户端工具,无所谓伪分布式/分布式: 对于开发人员,直接使用 ...
Hive 基础-进阶
HIVE基础 1,安装:基于hadoop之上,先安装hadoop,安装在另外一篇博客有详细讲到. 2,hive的管理:cli方式,web界面方式 cli方式:直接输入#hive --service c ...
Hive大数据-Hive的安装与启动---大数据之Hive工作笔记0005
然后我们再去看这个hive的安装,其实正确的学习路径应该是,首先去看一下hadoop,因为大数据中,很多知识都是基于hadoop的,然后再去看hive,然后再去看hbase,spark,flink ...
HiveQL学习笔记（二）：Hive基础语法与常用函数
本系列是本人对Hive的学习进行一个整理,主要包括以下内容: 1.HiveQL学习笔记(一):Hive安装及Hadoop,Hive原理简介 2.HiveQL学习笔记(二):Hive基础语法与常用函数 ...
Hive基础学习文档和入门教程
问题导读 1.hive除了包含用户接口.元数据,还包含哪些内容? 2.hive包含哪些操作? 3.hive数据能否被修改? 4.hive优化有哪些常用方法? 摘要: Hive 是建立在 Hadoop ...
Hive的安装与配置——第1关：Hive的安装与配置
第1关:Hive的安装与配置任务描述本关任务:在已安装Hadoop的基础上安装配置好Hive并运行. 相关知识为了完成本关任务,你需要掌握: 1.Hive的基本安装: 2.Mysql的安装与设置 ...
Hive HWI 安装及配置
在Hive已经安装成功的基础上,进行安装Hive HWI Hive Web Interface(HWI)简介:Hive自带了一个Web-GUI,功能不多,可用于效果展示. 由于hive-bin包中没有 ...
Hadoop集群搭建（八：Hive的安装配置）
实验目的要求目的: (1)掌握数据仓库工具Hive的安装和配置: 要求: 完成Hive工具的安装和配置: Hive工具能够正常启动运行: Hive控制台命令能够正常使用: 能够正常操作数据库.表 ...
R语言使用R基础安装中的glm函数构建乳腺癌二分类预测逻辑回归模型、分类预测器（分类变量）被自动替换为一组虚拟编码变量、summary函数查看检查模型、使用table函数计算混淆矩阵评估分类模型性能
R语言使用R基础安装中的glm函数构建乳腺癌二分类预测逻辑回归模型(Logistic regression).分类预测器(分类变量)被自动替换为一组虚拟编码变量.summary函数查看检查模型.使用t ...

Hive基础（安装）

Hive基础

一、什么是Hive

1、Hive特点

二、Hive的安装

1、检查hadoop环境

（1）查看Hadoop版本

（2）启动进程

2、安装MySQL

（1）安装MySQL

（2）查看账号密码

（3）使用默认账号登录MySQL数据库

（4）创建Hive账户

（5）授予Hive用户操纵数据库的权限

（6）退出MySQL数据库

3、安装Hive

（1）上传HIve到/home/hadoop

（2）把Hive解压到/usr/local 中

（3）进入/usr/local目录，将解压后的目录重命名为 hive

（4）修改hive的拥有者为hadoop

4、配置Hive

（1）进入hive配置文件目录

（2）创建hive-site.xml文件配置信息

（3）进入hive的依赖库目录

（4）上传mysql的驱动文件到lib目录

（5）进入hadoop软件的配置文件目录

（6）编辑core-site.xml文件

（7）进入Hadoop的家目录编辑环境变量文件

（8）在环境变量文件中添加内容

（9）刷新环境变量

（10）初始化Hive

（11）查询Hive默认数据库列表，验证安装

Hive基础（安装）相关推荐

最新文章

热门文章