Hive环境的安装部署（完美安装）（集群内或集群外都适用）（含卸载自带mysql安装指定版本）...

Hive环境的安装部署（完美安装）（集群内或集群外都适用）（含卸载自带mysql安装指定版本）

　　Hive 安装依赖 Hadoop 的集群，它是运行在 Hadoop 的基础上。所以在安装 Hive 之前，保证 Hadoop 集群能够成功运行。

　　同时，比如我这里的master、slave1和slave2组成的hadoop集群。hive的安装可以安装在任一一个节点上，当然，也可以安装在集群之外，取名为client。只需要ssh免密码通信即可。

1、下载Hive

　　这里很简单，不多赘述。

http://archive.apache.org/dist/

2、安装Hive

　　把Hive安装包apache-hive-1.0.0-bin.tar.gz移动到/home/hadoop/app/目录下并解压，然后将文件名称改为 hive-1.0.0。并做好软链接（实现多版本切换，别问这么多，高手必须掌握的技巧）

[hadoop@master app]$ tar -zxvf apache-hive-1.0.0-bin.tar.gz
[hadoop@master app]$ mv apache-hive-1.0.0-bin hive-1.0.0

[hadoop@master app]$ ln -s hive-1.0.0  hive

添加hive环境变量

[root@master ~]$ vi /etc/profile

#hive
export HIVE_HOME=/home/hadoop/app/hive
PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HIVE_HOME/bin:$PATH

[root@master ~]# source /etc/profile

　　3、安装为hive存放元数据的MySQL

　　Hive 将元数据存储在 RDBMS 中，一般常用 MySQL 和 Derby。默认情况下，Hive 元数据保存在内嵌的 Derby 数据库中，只能允许一个会话连接，只适合简单的测试。实际生产环境中不适用，为了支持多用户会话，则需要一个独立的元数据库，使用 MySQL 作为元数据库，Hive 内部对 MySQL 提供了很好的支持，配置一个独立的元数据库需要增加以下步骤。

　　如果你是一名有经验大数据工程师，无论是安装jdk（注意：CentOS6.5有自带的jdk），还是安装mysql。都是先查看系统是否已经安装Mysql包。

[root@master app]# rpm -qa|grep mysql
mysql-libs-5.1.71-1.el6.x86_64
[root@master app]# rpm -e --nodeps mysql-libs-5.1.71-1.el6.x86_64
[root@master app]# rpm -qa|grep mysql
[root@master app]#

在线安装 mysql 数据库

[root@master app]# yum install mysql-server
Loaded plugins: fastestmirror
Determining fastest mirrors* base: mirrors.yun-idc.com* extras: mirrors.btte.net* updates: mirrors.163.com....

Is this ok [y/N]: y...

启动mysql服务

[root@master app]# service mysqld start
Initializing MySQL database:  Installing MySQL system tables...
OK
Filling help tables...
OKTo start mysqld at boot time you have to copy
support-files/mysql.server to the right place for your system...

设置 mysql 的 root 密码

　　MySQL在刚刚被安装的时候，它的 root 用户是没有被设置密码的，即回车就好。但是一般需要自定义配置，首先来设置 MySQL 的 root 密码。

[root@master app]# mysql -u root -p
Enter password:           //默认密码为空，输入后回车即可
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 3
Server version: 5.1.73 Source distribution
Copyright (c) 2000, 2013, Oracle and/or its affiliates. All rights reserved.
mysql> set password for root@localhost=password('rootroot'); 　　密码设置为rootroot

默认情况下Mysql只允许本地登录，所以只需配置root@localhost就好

mysql> set password for root@%=password('rootroot'); 　　　　　　密码设置为rootroot （其实这一步可以不配）

mysql> set password for root@master=password('rootroot'); 　　密码设置为rootroot （其实这一步可以不配）

mysql> select user,host,password from mysql.user;  　　查看密码是否设置成功

mysql> exit;

为 Hive 建立相应的 Mysql 账户，并赋予足够的权限。

[root@master app]# mysql -uroot -prootroot
mysql> create user 'hive' identified by 'hive';    //创建一个账号：用户名为hive，密码为hive

或者

mysql> create user 'hive'@'%' identified by 'hive';    //创建一个账号：用户名为hive，密码为hive

mysql> GRANT ALL PRIVILEGES ON *.* to 'hive'@'%' IDENTIFIED BY 'hive' WITH GRANT OPTION;   //将权限授予host为%即所有主机的hive用户

mysql> GRANT ALL PRIVILEGES ON *.* to 'hive'@'master' IDENTIFIED BY 'hive' WITH GRANT OPTION;  //将权限授予host为master的hive用户

mysql> GRANT ALL PRIVILEGES ON *.* to 'hive'@'localhost' IDENTIFIED BY 'hive' WITH GRANT OPTION; //将权限授予host为localhost的hive用户（其实这一步可以不配）

默认情况下Mysql只允许本地登录，所以需要修改配置文件将地址绑定给注释掉。

Query OK, 0 rows affected (0.00 sec)mysql> flush privileges;
Query OK, 0 rows affected (0.00 sec)

mysql> select user,host,password from mysql.user;

mysql> exit;

建立 Hive 专用的元数据库，记得用刚才创建的 “hive” 账号登录，命令如下。

[root@master app]# mysql -uhive -phive //用hive用户登录，密码hive
mysql> create database hive;   //创建为hive存放的元数据库的名称为hive
Query OK, 1 row affected (0.00 sec)

mysql>  exit;

找到Hive安装目录 conf/下的 hive-site.xml文件，修改以下几个属性。

如果conf/目录下没有 hive-site.xml文件，则需要拷贝一个名为hive-site.xml的文件。

[hadoop@master conf]$ cp hive-default.xml.template hive-site.xml

[hadoop@master conf]$ vi hive-site.xml
< property>< name>javax.jdo.option.ConnectionDriverName< /name>< value>com.mysql.jdbc.Driver< /value>< description>Driver class name for a JDBC metastore< /description>
< /property>< property>< name>javax.jdo.option.ConnectionURL< /name>< value>jdbc:mysql://master:3306/hive?characterEncoding=UTF-8< /value>< description>JDBC connect string for a JDBC metastore< /description>
< /property>< property>< name>javax.jdo.option.ConnectionUserName< /name>< value>hive< /value>< description>Username to use against metastore database< /description>
< /property>< property>< name>javax.jdo.option.ConnectionPassword< /name>< value>hive< /value>< description>password to use against metastore database< /description>
< /property>

在hive 安装目录下，创建一个临时的IO文件iotmp，专门为hive来存放临时的io文件。

[hadoop@master hive]$ pwd/home/hadoop/app/hive

[hadoop@master hive]$ mkdir iotmp
[hadoop@master  hive]$ ls
bin   derby.log  hcatalog  lib      metastore_db  README.txt         scripts
conf  examples   iotmp     LICENSE  NOTICE        RELEASE_NOTES.txt

然后将路径配置到hive-site.xml文件的以下参数中：

[hadoop@master conf]$ vi hive-site.xml
< property>< name>hive.querylog.location< /name>< value>/home/hadoop/app/hive/iotmp< /value>< description>Location of Hive run time structured log file< /description>
< /property>< property>< name>hive.exec.local.scratchdir< /name>< value>/home/hadoop/app/hive/iotmp< /value>< description>Local scratch space for Hive jobs< /description>
< /property>< property>< name>hive.downloaded.resources.dir< /name>< value>/home/hadoop/app/hive/iotmp< /value>< description>Temporary local directory for added resources in the remote file system.< /description>
< /property>

将mysql-connector-java-5.1.21.jar驱动包，拷贝到 $HIVE_HOME/lib 目录下。

[hadoop@master lib]#pwd/home/hadoop/app/hive/lib

[hadoop@master lib]#rz   //回车，选择已经下载好的mysql驱动包即可
[hadoop@master lib]$ ls
mysql-connector-java-5.1.21.jar

　　开启hive前，先启动mysql和hadoop集群

[hadoop@master app]$ pwd
/home/hadoop/app
[hadoop@master app]$ service mysqld status

[hadoop@master app]$ service mysqld start

保存，开启hive即可。

[hadoop@master hive]$ pwd
/home/hadoop/app/hive
[hadoop@master hive]$ ll
total 400
drwxrwxr-x. 3 hadoop hadoop 4096 Apr 12 11:01 bin
drwxrwxr-x. 2 hadoop hadoop 4096 Apr 12 18:34 conf
drwxrwxr-x. 4 hadoop hadoop 4096 Apr 12 11:01 examples
drwxrwxr-x. 7 hadoop hadoop 4096 Apr 12 11:01 hcatalog
drwxrwxr-x 2 hadoop hadoop 4096 Apr 12 18:34 iotmp
drwxrwxr-x. 4 hadoop hadoop 4096 Apr 12 18:35 lib
-rw-r--r--. 1 hadoop hadoop 23828 Jan 30 2015 LICENSE
-rw-r--r--. 1 hadoop hadoop 397 Jan 30 2015 NOTICE
-rw-r--r--. 1 hadoop hadoop 4044 Jan 30 2015 README.txt
-rw-r--r--. 1 hadoop hadoop 345744 Jan 30 2015 RELEASE_NOTES.txt
drwxrwxr-x. 3 hadoop hadoop 4096 Apr 12 11:01 scripts
[hadoop@master hive]$ bin/hive

hive> show databases;
OK
default
Time taken: 3.684 seconds, Fetched: 1 row(s)
hive> exit;

转载于:https://www.cnblogs.com/braveym/p/6701179.html

Hive环境的安装部署（完美安装）（集群内或集群外都适用）（含卸载自带mysql安装指定版本）...相关推荐

Kettle分布式集群安装部署详细步骤和使用分布式Kettle集群示例
Kettle分布式集群安装部署详细步骤和使用分布式Kettle集群示例一.下载kettle和mysql驱动二.相关技术博客三.Kettle分布式集群环境准备四.解压kettle 五.执行Kit ...
Ubuntu卸载自带Firefox安装Firefox中国版
Ubuntu卸载自带Firefox安装Firefox中国版卸载自带Firefox 查找火狐浏览器的安装包内容卸载安装小包安装Firefox中国版下载国内版火狐:[Firefox官网](http ...
MySql基础篇---001 数据库概述与MySQL安装篇：概述，表和类对应关系，表关系、数据库卸载，下载，安装，配置，启动，登录，演示，图形化工具，目录结构，常见问题
第01章_数据库概述讲师:尚硅谷-宋红康(江湖人称:康师傅) 官网:http://www.atguigu.com 1. 为什么要使用数据库持久化(persistence):把数据保存到可掉电式存储 ...
安装及管理程序（yum搭建本地源，了解rmp命令，查询卸载软件包，编译安装的过程）
文章目录安装及管理程序前言 linux命令与应用程序的关系典型应用程序的目录结构常见的软件包封装类型查询RPM软件包信息 rpm概述 RPM机制封装命令格式查询RPM软件包信息查询未安装 ...
使用CentOS7卸载自带jdk安装自己的JDK1.8
目录通过yum安装jdk1.8(推荐) 自备安装包安装jdk1.8 通过yum安装jdk1.8(推荐) 查看CentOS自带JDK是否已安装 1 [root@test ~]# yum list in ...
linux中mysql的安装与卸载_linux的mysql安装与卸载
· centos6.5上安装mysql5.6.26 通过rpm包安装: [root@cobub01 mysql-5.6]# rpm -iv MySQL-server-5.6.26-1.el6.x86 ...
Ubuntu16.04下Opencv3.4.5的卸载与带cuda安装
一.opencv卸载参考链接: https://blog.csdn.net/weixin_45617478/article/details/102632088 二.opencv3.4.5安装 (一) ...
Cloudera Manager安装之利用parcels方式安装单节点集群（包含最新稳定版本或指定版本的安装）（添加服务）（CentOS6.5）（四）...
前期博客 Cloudera Manager安装之Cloudera Manager 5.3.X安装(三)(tar方式.rpm方式和yum方式) 说在前面的话(看清楚就好!!!) 我这篇博客,是两种方式都 ...
hive on tez安装部署、配置及tez-ui配置
目录 Tez官网:http://tez.apache.org/ 下载开始下载安装部署Tez 下载解压简单配置运行tez的实例mr程序,验证是否安装成功: 设置tez-ui 先安装部署Tomcat ...

Hive环境的安装部署（完美安装）（集群内或集群外都适用）（含卸载自带mysql安装指定版本）...

Hive环境的安装部署（完美安装）（集群内或集群外都适用）（含卸载自带mysql安装指定版本）...相关推荐

最新文章

热门文章