大数据开发系列（六）----Hive3.0.0安装配置以及Mysql5.7安装配置

一、Hive3.0.0安装配置: (Hive3.1.2有BUG）hadoop3.1.2

Hive各个版本下载地址： http://archive.apache.org/dist/hive/，这里我们下载hive 3.0.0

1、解压：

tar -xzvf apache-hive-3.0.0-bin.tar.gz -C /usr/lib/JDK_2021

cd /usr/lib/JDK_2021

2.改名称.将解压以后的文件夹改名称
命令： mv apache-hive-3.0.0-bin hive-3.0.0

3.配置Hive环境变量
进入profile文件，
命令： vim /etc/profile
添加环境：
#HIVE_HOME
export HIVE_HOME=/usr/lib/JDK_2021/hive-3.0.0
export PATH=$PATH:$HIVE_HOME/bin

更新文件命令： source /etc/profile

4.修改/hive-env.sh.template名称以及添加变量
改成hive-env.sh
命令： mv /usr/lib/JDK_2021/hive-3.0.0/conf/hive-env.sh.template /usr/lib/JDK_2021/hive-3.0.0/conf/hive-env.sh
入/usr/lib/JDK_2021/hive-3.0.0/conf文件夹，
命令： vi hive-env.sh
或者： vi /usr/lib/JDK_2021/hive-3.0.0/conf/hive-env.sh
添加环境：
export HADOOP_HOME=/usr/lib/JDK_2021/hadoop-3.1.2
export HIVE_CONF_DIR=/usr/lib/JDK_2021/hive-3.0.0

5、修改 /usr/lib/JDK_2021/hive-3.0.0文件夹下面的metastore_db文件夹名称，
命令： mv metastore_db/ metastore_db_bak

6将/usr/lib/JDK_2021/hive-3.0.0/lib文件夹下的log4j-slf4j-impl-2.10.0.jar改成log4j-slf4j-impl-2.10.0.bak

命令： mv log4j-slf4j-impl-2.10.0.jar log4j-slf4j-impl-2.10.0.bak

-----------------虚拟机快照到这里--------------------------------------------------------------------------

二、Mysql5.7.35安装配置:
参考安装配置连接：
https://www.cnblogs.com/wpnr/p/14072634.html
https://www.cnblogs.com/porotin/p/9045391.html
https://blog.csdn.net/qq_44792624/article/details/107426590

1、检查系统是否安装过mysql
//检查系统中有无安装过mysql
命令： rpm -qa|grep mysql

//查询所有mysql 对应的文件夹，全部删除
命令： whereis mysql
find / -name mysql

2、卸载CentOS7系统自带mariadb
# 查看系统自带的Mariadb
命令： rpm -qa|grep mariadb
如果显示mariadb-libs-5.5.44-2.el7.centos.x86_64，这里以你实际显示为准
# 卸载系统自带的Mariadb （mariadb-libs-5.5.44-2.el7.centos.x86_64是你显示的文件名称）
命令： rpm -e --nodeps mariadb-libs-5.5.44-2.el7.centos.x86_64
# 删除etc目录下的my.cnf

命令： rm /etc/my.cnf

3、下载并安装MySQL官方的 Yum Repository
①命令： wget -i -c http://dev.mysql.com/get/mysql57-community-release-el7-10.noarch.rpm

如果 wget命令使用不了，则需要安装wget命令，：
命令： yum install wget

安装完成以后，再执行步骤①

②使用上面的命令就直接下载了安装用的Yum Repository，大概25KB的样子，然后就可以直接yum安装了。

之后就开始安装MySQL服务器。
命令： yum -y install mysql57-community-release-el7-10.noarch.rpm

命令： yum -y install mysql-community-server

③命令执行下载完成后，开启mysql状态
命令： systemctl start mysqld.service

查看MySQL运行状态
命令：systemctl status mysqld.service

④通过如下命令可以在日志文件中找出密码：

命令： grep "password" /var/log/mysqld.log

这样的就是生成的密码：[Note] A temporary password is generated for root@localhost: eeG(hZMdJ6ow
这就是我生成的密码 G(hZMdJ6ow

⑤如下命令进入数据库：

命令： mysql -uroot -p
再输入刚才的密码： eeG(hZMdJ6ow

⑥已经登录到mysql，mysql> 做相关设置：
命令： set global validate_password_policy=0;

命令： set global validate_password_length=1;

命令： alter user 'root'@'localhost' identified by '123456';
修改密码为123456

特别注意：Mysql8.0版本以上修改参数设置

mysql> set global validate_password.policy=0;
mysql> set global validate_password.length=1;

⑦ 修改 mysql 5.7库下的 user 表中的 root 用户允许任意 ip 连接:
登录数据库执行如下的命令：
use mysql;

select host,user from user;

update user set host = '%' where user = 'root';

flush privileges;

⑧进入/etc/my.cnf文件
命令： vi /etc/my.cnf
在[mysqld]标签下添加2行代码：
#添加密码验证插件
plugin-load-add=validate_password.so
#服务器在启动时加载插件，并防止在服务器运行时删除插件
validate-password=FORCE_PLUS_PERMANENT

：wq保存退出；
至此，mysql安装配置完成

在HDFS上新建文件夹命令,以及增加权限：

hadoop fs -mkdir /tmp

hadoop fs -chmod g+w /tmp

hadoop fs -mkdir -p /user/hive/warehouse

hadoop fs -chmod g+w /user/hive/warehouse

三、再回到Hive，继续配置Hive;

1、在 /usr/lib/JDK_2021/hive-3.0.0/conf文件夹下，新建 hive-site.xml 文件

命令： vim hive-site.xml
添加如下内容
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>

<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://xiaoye13:3306/metastore?useSSL=false</value>
</property>


<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>


<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>

<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>123456</value>
</property>

<property>
<name>hive.metastore.schema.verification</name>
<value>false</value>
</property>

<property>
<name>hive.metastore.event.db.notification.api.auth</name>
<value>false</value>
</property>

<property>
<name>hive.metastore.warehouse.dir</name>
<value>/user/hive/warehouse</value>
</property>

</configuration>

命令 :wq 保存完成

2、拷贝驱动
将 MySQL 的 JDBC 驱动mysql-connector-java-8.0.13.jar拷贝到 Hive 的 lib 目录下
mysql-connector-java-8.0.13.jar百度网盘链接，下载：
链接：https://pan.baidu.com/s/1f1NTYGZ_hIQ8XU4f41gNpw
提取码：qw2s

命令： cp mysql-connector-java-8.0.13.jar /usr/lib/JDK_2021/hive-3.0.0/lib

3、登陆 MySQL
命令： mysql -uroot -p123456
新建 Hive 元数据库
命令： create database metastore;
quit；

3、初始化 Hive 元数据库(使用的是 mysql数据库）
命令： schematool -initSchema -dbType mysql -verbose
3、再次启动 Hive，进入/usr/lib/JDK_2021/hive-3.0.0文件夹下，
命令： bin/hive
4、进入hive, 使用 Hive
hive> show databases;
hive> show tables;
hive> create table test (id int);

hive> select * from test;

如果执行命令schematool -initSchema -dbType mysql -verbose失败，则登录数据库mysql，删除刚才新建的数据库metastore，再新建metastore数据库
命令： mysql -uroot -p123456;
命令： show databases;
删除命令： drop database metastore;
新建命令： create database metastore;

再重新执行命令，进行初始化 Hive 元数据库
命令： schematool -initSchema -dbType mysql -verbose

1、使用元数据服务的方式访问 Hive
①在 /usr/lib/JDK_2021/hive-3.0.0/conf文件夹下，继续在 hive-site.xml 文件中添加如下配置信息：
配置内容：

<property>
<name>hive.metastore.uris</name>
<value>thrift://xiaoye13:9083</value>
</property>

②启动 metastore
后台运行命令： hive --service metastore &
命令行显示：Starting Hive Metastore Server

③启动 hive
命令： hive

2、使用 JDBC 方式访问 Hive
①在 /usr/lib/JDK_2021/hive-3.0.0/conf文件夹下，继续在 hive-site.xml 文件中添加如下配置信息：
配置内容：

<property>
<name>hive.server2.thrift.bind.host</name>
<value>xiaoye13</value>
</property>

<property>
<name>hive.server2.thrift.port</name>
<value>10000</value>
</property>

②启动 metastore ，如果metastore已经启动，则不需要再启动
后台运行命令： hive --service metastore &
命令行显示：Starting Hive Metastore Server

③启动 hiveserver2
命令： hive --service hiveserver2 &

④启动 beeline 客户端（需要多等待一会）在文件夹/usr/lib/JDK_2021/hive-3.0.0下执行命令
bin/beeline -u jdbc:hive2://xiaoye13:10000 -n root

看到如下界面
Connecting to jdbc:hive2://xiaoye13:10000
Connected to: Apache Hive (version 3.1.2)
Driver: Hive JDBC (version 3.1.2)
Transaction isolation: TRANSACTION_REPEATABLE_READ
Beeline version 3.1.2 by Apache Hive
0: jdbc:hive2://xiaoye13:10000>

大数据开发系列（六）----Hive3.0.0安装配置以及Mysql5.7安装配置相关推荐

大数据基础系列 4：伪分布式 Hadoop 在 Ubuntu 上的安装流程完整步骤及易错点分析
文章目录前言一.创建 Ubuntu 用户二.安装 Java 2.1.查看本地 Java 版本 2.2.验证 Java 在本地的配置情况三.安装 ssh 服务 3.1.安装 openssh-se ...
大数据开发系列（一）----Hadoop集群环境配置
配置成功,jps显示如下: HDFS ...
【大数据开发技术】期末押题（暨考试题）
[大数据开发技术]期末押题 A卷选择10道 1. 配置Hadoop时,JAVA_HOME包含在哪一个配置文件中. 2. HDFS是基于流数据模式访问和处理超大文件的需求而开发的,具有高容错.高可靠性 ...
大数据学习系列：Hadoop3.0苦命学习（五）
传送门: 大数据学习系列:Hadoop3.0苦命学习(一) 大数据学习系列:Hadoop3.0苦命学习(二) 大数据学习系列:Hadoop3.0苦命学习(三) 大数据学习系列:Hadoop3.0苦命学 ...
从0到1构建大数据生态系列1：数据蛮荒中的拓荒之举
缘起我们都知道,当前大数据的需求基本属于遍地开花.无论是帝都.魔都,还是广州.深圳,亦或是全国其他各地,都在搞大数据:不管是不到百人的微小公司,还是几百上千人的中型公司,亦或是上万的大型公司,都在需 ...
大数据学习系列：Hadoop3.0苦命学习（一）
传送门: 大数据学习系列:Hadoop3.0苦命学习(一) 大数据学习系列:Hadoop3.0苦命学习(二) 大数据学习系列:Hadoop3.0苦命学习(三) 大数据学习系列:Hadoop3.0苦命学 ...
大数据学习系列：Hadoop3.0苦命学习（七）
传送门: 大数据学习系列:Hadoop3.0苦命学习(一) 大数据学习系列:Hadoop3.0苦命学习(二) 大数据学习系列:Hadoop3.0苦命学习(三) 大数据学习系列:Hadoop3.0苦命学 ...
项目0单节点的虚拟机做大数据开发（四万字全）
目录 1新建虚拟机 1.1保姆级教程建虚拟机 1.2设置网络ip和主机名(设置好了才能使用远程工具) 1.3免密登录的设置 1.4同步时间 2.安装软件 2.1jdk的安装 2.3安装mysql 2. ...
字王：大数据与黑天鹅算法2.0
字王:大数据与黑天鹅算法2.0 wiki百科:"黑天鹅"隐喻那些意外事件:它们极为罕见,在通常的预期之外. 如果一种理论.模型和算法,能够在一年内,捕获一只黑天鹅,无疑是成功的.科 ...

大数据开发系列（六）----Hive3.0.0安装配置以及Mysql5.7安装配置

大数据开发系列（六）----Hive3.0.0安装配置以及Mysql5.7安装配置相关推荐

最新文章

热门文章