Hive3.1.3 安装配置
一、下载安装包
https://mirrors.tuna.tsinghua.edu.cn/apache/hive/hive-3.1.3/
二、环境准备
mysql可以参考:
Mysql5.7 Yum安装详解_与光同尘~追光者的博客-CSDN博客_yum安装mysql5.7
hadoop参考:
Hadoop 3.3.1 分布式部署_与光同尘~追光者的博客-CSDN博客
三、上报压缩包并解压到指定目录
tar -zxf apache-hive-3.1.3-bin.tar.gz -C /opt/module/
四、修改配置
4.1 hive-env.sh
cp hive-env.sh.template hive-env.shexport HADOOP_HOME=/opt/module/hadoop-3.3.3/
export HIVE_CONF_DIR=/opt/module/hive-3.1.3/conf/
4.2 hive-site.xml
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<!-- 存储元数据mysql相关配置 -->
<property><name>javax.jdo.option.ConnectionURL</name><value>jdbc:mysql://bigdata03:3306/hive?createDatabaseIfNotExist=true&useSSL=false&useUnicode=true&characterEncoding=UTF-8</value>
</property><property><name>javax.jdo.option.ConnectionDriverName</name><value>com.mysql.jdbc.Driver</value>
</property><property><name>javax.jdo.option.ConnectionUserName</name><value>root</value>
</property><property><name>javax.jdo.option.ConnectionPassword</name><value>root</value>
</property><!-- H2S运行绑定host -->
<property><name>hive.server2.thrift.bind.host</name><value>bigdata01</value>
</property><!-- 远程模式部署metastore metastore地址 -->
<property><name>hive.metastore.uris</name><value>thrift://bigdata01:9083</value>
</property><property><name>hive.metastore.warehouse.dir</name><value>/user/hive/warehouse</value><description>location of default database for the warehouse</description>
</property><!-- 关闭元数据存储授权 -->
<property><name>hive.metastore.event.db.notification.api.auth</name><value>false</value>
</property>
</configuration>
4.4 hive-log4j2.properties
cp hive-log4j2.properties.template hive-log4j2.properties
vim hive-log4j2.properties#修改日志存放路径
property.hive.log.dir = /data/emr/hive/logs
4.5 上传mysql jdbc驱动到hive lib目录下
五、添加环境变量
vim /etc/profile.d/my_env.sh#HIVE_HOME
export HIVE_HOME=/opt/module/hive-3.1.3
export PATH=$PATH:$HIVE_HOME/bin
六、初始化
schematool -dbType mysql -initSchema
在hdfs创建hive存储目录(如存在则不用操作)
hadoop fs -mkdir /tmp
hadoop fs -mkdir -p /user/hive/warehouse
hadoop fs -chmod g+w /tmp
hadoop fs -chmod g+w /user/hive/warehouse
七、启动
7.1 启动metastore服务
#前台启动 关闭ctrl+c
hive --service metastore#前台启动 开启debug日志
hive --service metastore --hiveconf hive.root.logger=DEBUG,console#后台启动 进程挂起
nohup hive --service metastore &
7.2 启动hiveserver2服务
#启动hiveserver2后需要等一会儿再进行beeline连接 要不可能连接不上
nohup hive --service hiveserver2 &
7.3 beeline客户端连接
把bigdata01上的安装包 scp到bigdata02上 执行beeline
报错1:
Could not open connection to the HS2 server. Please check the server URI and if the URI is correct, then ask the administrator to check the server status.
Error: Could not open client transport with JDBC Uri: jdbc:hive2://bigdata01:10000: java.net.ConnectException: Connection refused
#在hadoop core-site.xml填加如下内容<property>
<name>dfs.permissions.enabled</name>
<value>false</value>
</property><property>
<name>hadoop.proxyuser.hadoop.hosts</name>
<value>*</value>
</property><property>
<name>hadoop.proxyuser.hadoop.groups</name>
<value>*</value>#需要重启hadoop
报错2:
org.apache.hadoop.security.authorize.AuthorizationException: User: hadoop is not allowed to impersonate hadoop
#在 hive-site.xml文件中添加如下内容
#重启hive metastore 和hiveserver2 服务<property><name>hive.metastore.sasl.enabled</name><value>false</value><description>If true, the metastore Thrift interface will be secured with SASL. Clients must authenticate with Kerberos.</description>
</property><property><name>hive.server2.enable.doAs</name><value>false</value>
</property><property><name>hive.server2.authentication</name><value>NONE</value>
</property>
报错3:
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.StatsTask
#在hive中设置一下
set hive.stats.column.autogather=false;
set hive.optimize.sort.dynamic.partition=true;
参考:Error: Error while processing statement: FAILED: E... - Cloudera Community - 315296
重新执行 beeline -u jdbc:hive2://bigdata01:10000 -n hadoop
Hive3.1.3 安装配置相关推荐
- 大数据开发系列(六)----Hive3.0.0安装配置以及Mysql5.7安装配置
一.Hive3.0.0安装配置: (Hive3.1.2有BUG)hadoop3.1.2 Hive各个版本下载地址: http://archive.apache.org/dist/hive/,这里 ...
- CentOS7下Hive的安装配置
0.安装前提 安装配置jdk与hadoop 安装配置好mysql 1.下载上传 下载hive,地址:http://mirror.bit.edu.cn/apache/hive/ 上传到指定位置scp a ...
- Linux下安装配置各种软件和服务
1. JDK 1.1. 解压Linux版本的JDK压缩包 yum -y install glibc.i686 #安装jdk源glibc(需要联网下载源) mkdir /usr/local/src/jd ...
- mysql64如何配置_win7 64位下如何安装配置mysql-winx64(安装记录)
win7 64位下如何安装配置mysql winx64 1.mysql下载 官方网站下载地址:http://dev.mysql.com/get/Downloads/MySQL-5.6/mysql-5. ...
- ActiveMQ—安装配置及使用
安装配置及使用 转自:http://blog.csdn.net/qq_21033663/article/details/52461543 (一)ActiveMQ介绍 ActiveMQ 是Apache出 ...
- Linux下Tomcat的安装配置
Linux下Tomcat的安装配置 一.下载安装对应的jdk,并配置Java环境. 官网下载地址: http://www.oracle.com/technetwork/java/javase/down ...
- wamp的mysql单独使用_Windows 7+8.1+10 单独安装配置 PHP+Apache+MySQL(不使用 WAMP)
Windows 8.1 单独安装配置 PHP+Apache+MySQL(不使用 WAMP) 本文同样适用于Windows7和10 0x00 PHP [下载]http://www.doczj.com/d ...
- mysql数据库解压安装教程_MySQL数据库之windows 10下解压版MySql安装配置方法教程...
本文主要向大家介绍了MySQL数据库之windows 10下解压版MySql安装配置方法教程 ,通过具体的内容向大家展现,希望对大家学习MySQL数据库有所帮助. windows 10 下安装解压版的 ...
- python3.6.2怎样安装,python 3.6.2 安装配置方法图文教程
python 3.6.2 安装配置方法图文教程 Windows下Python(pip)环境搭建(3.6)图解,供大家参考,具体内容如下 1.下载最新的Python安装:3.6.2 2.安装时不要选择默 ...
最新文章
- datagridview 点击列标题排序
- 5G NGC — 系统架构
- 中科大计算机复试题目,中科大计算机复试笔试部分 09-15
- 剑指offer55 字符流中第一个不重复的字符(最典型错误)
- 491. Increasing Subsequences 递增子序列
- SAP S/4HANA Service Management和SAP FSM基于CPI的集成场景介绍
- Android虚拟机和Java虚拟机的区别
- 区块链教程Fabric1.0源代码分析流言算法Gossip服务端二
- Modbus通信协议 【 初识 Modbus】
- python命名空间特性_PHP关键特性之命名空间实例
- CNNIC:中国网民规模超9亿,近6成学历为初中及以下
- MATLAB保存数据为dat格式,[转载] Matlab中的数据以.txt或.dat格式保存
- tensorflow loss到多少_tensorflow学习笔记day4
- warp-transducer源码安装,warprnnt_pytorch生成
- 关于人工智能(AI),【西部世界】提供一点小想法
- php大道至简之框架
- 苹果ll是什么版本_苹果12系列手机收到货如何验货?
- 【tkGo】将Excel里的图片链接替换为图片(Excel嵌入图片)
- Java毕业设计-社区疫情管理小程序
- CSS3基础(4)——CSS3 渲染属性
热门文章
- 个性二维码生成(android开发)
- 参考资料来自 懒兔子 的公众号
- 2016年1月28日github 出现大面积访问故障
- Backend TkAgg is interactive backend. Turning interactive mode on.解决办法
- unity3d培训_005
- 经济危机下,中国软件外包产业的走向
- html手机上传图片去除拍照,HTML5手机拍照上传
- 三阶段--017Day 模块 Requirejs
- android悬浮窗组件,Android 悬浮窗,悬浮view功能实现
- IPMP、PMP、CPMP三个证书该如何选择,有什么区别,哪个对于工作上的