Hive远程模式安装(1.00)
为什么80%的码农都做不了架构师?>>>
hiveserver2和metastore分离部署,元数据存储采用mysql,mysql与metastore分离部署。
- mysql: 部署在ctrl节点
- hiveserver2: 部署在ctrl和data01节点
- metastore: 部署在data02和data03节点
- beeline: 部署在其他任意一台机器
部署图:
首先参考《Hive单节点安装使用(1.00)》文档,安装好单节点的hive软件,然后将整个目录拷贝到其他节点,再按如下步骤配置各节点。
安装配置
- hiveserver2节点配置
hive 1.0中已经不再提供hiveserver,取而代之的是hiveserver2。
hiveserver2已经不再需要hive.metastore.local这个配置项(hive.metastore.uris为空,则表示是metastore在本地,否则就是远程),直接配置hive.metastore.uris即可。
1 2 3 4 5 6 |
<property><name>hive.metastore.uris</name><value>thrift://data02:9083,thrift://data03:9083</value><description>Thrift URI for the remote metastore. Used by metastore client to connect to remote metastore.</description> </property> |
hiveserver2不连接mysql数据库,不需要配置连接mysql的配置项。
- metastore节点配置
需要配置连接mysql的配置项:
123456789 10 11 12 13 14 15 16 17 18 19 20 |
<property><name>javax.jdo.option.ConnectionURL</name><value>jdbc:mysql://ctrl:3306/hive?createDatabaseIfNotExist=true</value><description>JDBC connect string for a JDBC metastore</description> </property> <property><name>javax.jdo.option.ConnectionDriverName</name><value>com.mysql.jdbc.Driver</value><description>Driver class name for a JDBC metastore</description> </property> <property><name>javax.jdo.option.ConnectionUserName</name><value>hive</value><description>username to use against metastore database</description> </property> <property><name>javax.jdo.option.ConnectionPassword</name><value>hive</value><description>password to use against metastore database</description> </property> |
其他配置:
hive.metastore.warehouse.dir:hive数据在HDFS中的目录
hive.exec.scratchdir:hive在HDFS中的临时目录
hive.exec.local.scratchdir:hive的本地临时目录,/tmp/hive
hive.downloaded.resources.dir: hive下载的本地临时目录, /tmp/hive
123456789 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 |
<property><name>hive.metastore.warehouse.dir</name><value>/user/hive/warehouse</value><description>location of default database for the warehouse</description> </property> <property><name>hive.exec.scratchdir</name><value>/tmp/hive</value><description>HDFS root scratch dir for Hive jobs which gets created with write all (733) permission. For each connecting user, an HDFS scratch dir: ${hive.exec.scratchdir}/< username> is created, with ${hive.scratch.dir.permission}.</description> </property> <property><name>hive.exec.local.scratchdir</name><value>/tmp/hive</value><description>Local scratch space for Hive jobs</description> </property> <property><name>hive.downloaded.resources.dir</name><value>/tmp/hive</value><description>Temporary local directory for added resources in the remote file system.</description> </property> |
- beeline客户端安装
beeline已经集成在hive软件包中,不需要额外安装。 下载hive软件包,然后配置hadoop的主目录即可:
1 2 3 4 5 6 |
cd /opt wget http://apache.fayea.com/hive/stable/apache-hive-1.0.0-bin.tar.gz tar -zxvf apache-hive-1.0.0-bin.tar.gz mv apache-hive-1.0.0-bin hive cd /opt/hive/conf mv hive-env.sh.template hive-env.sh |
在hive-env.sh中增加:
1 2 3 |
export HADOOP_HOME=/opt/hadoop/client/hadoop-2.4.1 export HIVE_HOME=/opt/hive export HIVE_CONF_DIR=/opt/hadoop/client/hive/conf |
启动
- 启动hiveserver2
[hadoop@ctrl bin]$ hive --service hiveserver2 &
[hadoop@data01 bin]$ hive --service hiveserver2 &
或者:
[hadoop@ctrl bin]$ hiveserver2 &
[hadoop@data01 bin]$ hiveserver2 &
- 启动metastore
[hadoop@data02 bin]$ hive --service metastore &
[hadoop@data03 bin]$ hive --service metastore &
- 使用beeline连接
[root@cheyo conf]# beeline --color=true --fastConnect=true -u jdbc:hive2://192.168.99.107:10000
[root@cheyo conf]# ../bin/beeline --color=true --fastConnect=true
Beeline version 1.0.0 by Apache Hive
beeline> !connect jdbc:hive2://ctrl:10000
scan complete in 17ms
Connecting to jdbc:hive2://ctrl:10000
Enter username for jdbc:hive2://ctrl:10000:hadoop
Enter password for jdbc:hive2://ctrl:10000:
Connected to: Apache Hive (version 1.0.0)
Driver: Hive JDBC (version 1.0.0)
Transaction isolation: TRANSACTION_REPEATABLE_READ
0: jdbc:hive2://ctrl:10000> show tables;
+-----------+--+
| tab_name |
+-----------+--+
| person |
| t_hive |
+-----------+--+
2 rows selected (0.404 seconds)
0: jdbc:hive2://ctrl:10000> select * from person;
+--------------+-------------+--+
| person.name | person.age |
+--------------+-------------+--+
| cheyo | 25 |
| yahoo | 30 |
| people | 27 |
+--------------+-------------+--+
3 rows selected (0.413 seconds)
0: jdbc:hive2://ctrl:10000>
启动hwi(Web界面)
待保/opt/hive/lib/目录下有hive-hwi-1.0.0.war文件。hwi只需要在一台HiveServer2上启动即可。
- 启动hwi服务
[hadoop@ctrl bin]$ hive --service hwi &
- 访问Web
http://ip:9999/hwi
注意
- 使用beeline连接时,填写的username将用于权限管理。填写错误可能会导致运行HiveQL命令时指示没有权限。
日志
Hive的日志默认在/tmp/{username}/hive.log中。可以通过配置文件修改。
比如将日志路径修改为:/opt/hive/log/
123456789 10 11 12 13 |
cd /opt/hive mkdir -p /opt/hive/logcd /opt/hive/conf mv hive-log4j.properties.template hive-log4j.properties vi hive-log4j.properties #修改如下一行: hive.log.dir=/opt/hive/logmv hive-exec-log4j.properties.template hive-exec-log4j.properties vi hive-exec-log4j.properties #修改如下一行: hive.log.dir=/opt/hive/log |
转载于:https://my.oschina.net/phacks/blog/745422
Hive远程模式安装(1.00)相关推荐
- linux hive创建数据库失败,Hive本地模式安装及遇到的问题和解决方案
Apache Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的SQL查询功能,可以将SQL语句转换为MapReduce任务进行运行. 其优点是学习成 ...
- Hive远程模式安装指导
Hive远程模式说明: 在远程模式下,Metastore.Driver(即Hive服务).和CLI分别运行在不同的Runjar进程中,且必须依次启动. 1 安装环境介绍 1.1 相关组件版本 组件版本 ...
- Hive 本地模式,远程模式模式的搭建、命令行操作、Hive JDBC操作
追风赶月莫停留,平芜尽处是春山. 文章目录 追风赶月莫停留,平芜尽处是春山. 环境 下载安装包,解压到合适位置: Hive 本地模式的搭建 一.配置相关的文件: 二.安装并配置MySQL 三.配置Hi ...
- hive连接mysql报错_hive远程模式初始化mysql报错
hive的远程模式需要mysql数据库,需要安装mysql数据库, 创建mysql 数据库用于存储hive的原信息 create database hive DEFAULT CHARSET utf8 ...
- hive入门之安装模式
Hive的安装模式 这个网址能找到apache所有产品的安装包: archive.apache.org/dist/ 嵌入模式 元数据信息被存储在HIVE自带的Derby数据库中 -只允许创建一个连接 ...
- hive 安装_7.Hive介绍以及安装
hive简介 Hive : 数据仓库. Hive:解释器,编译器,优化器等. Hive 运行时,元数据存储在关系型数据库里面. Hive架构 1.Hive将元数据存储在数据库中,如mysql.derb ...
- 超详细Centos6.5文本模式安装步骤
对于刚接触Linux的用户来说,安装系统和配置网卡的过程也可能要用很长的时间,Centos6.5的安装方式有二种,图形模式和文本模式.文本模式从6开始就不支持自定义分区了(新手练习时默认分区足够用), ...
- Hive环境的安装部署(完美安装)(集群内或集群外都适用)(含卸载自带mysql安装指定版本)...
Hive环境的安装部署(完美安装)(集群内或集群外都适用)(含卸载自带mysql安装指定版本) Hive 安装依赖 Hadoop 的集群,它是运行在 Hadoop 的基础上. 所以在安装 Hive 之 ...
- CentOS下Hive2.0.0集群模式安装详解
本文环境如下: 操作系统:CentOS 6 32位 Hive版本:2.0.0 JDK版本:1.8.0_77 32位 Hadoop版本:2.6.4 MySQL版本:5.6.30 1. 准备工作 1.1 ...
最新文章
- Nginx —— ngx_http_core_module 模块提供的变量
- JS弹出窗口窗口的位置和大小
- [android] Serializable 和 Parcelable 区别
- 利用Java流进行类的整型字段求和的例子
- oracle 参照完整性,Oracle中用表外键来保证系统参照完整性
- java基础—FileWriter 的使用
- java 微服务实践 视频,全新JAVA微服为务实战Spring Boot系列视频教程 小马哥 JAVA微服务实践视频课程...
- 日本人的幼儿教育,看一看还是有意…
- Word 如何设置空白页
- Java测试题及答案(Java干货完整试卷)
- 遥控小车遥控赛车html5小游戏源码 【HTML游戏】
- 自从有了OJ水题嗅探神器,麻麻再也不担心我刷不到题了。。
- 基于51单片的电风扇系统
- 使用n2disk和PF_RING构建一个(便宜的)2×10 Gbit(连续)数据包记录器
- 清除显卡右键菜单批处理.bat
- TP 全系列调试通用参考说明
- 目前主流浏览器、浏览器内核和兼容问题的解决方案
- 根据银行卡号获取开户行及银行卡类型的demo(python、android 和ios)
- 问题 F: 小白鼠排队
- lingo中@wrap函数的理解
热门文章
- bash 脚本的自解压流程
- Linux 网卡驱动 PHY Mac MDIO kernel 驱动讲解 (未完待续)
- readline 移植 注意事项
- html5头像裁剪实例,使用cropper.js裁剪头像的实例代码
- cad能整体比例缩小吗_手机玻璃背板直接整体变色你能想象吗?有厂商已经做到了...
- “上拉电阻与下拉电阻”通俗解读
- 【 FPGA 】UltraFast设计方法学:时序收敛之时序约束基本准则
- p1522 牛的旅行 Cow Tours
- SaltStack工具中MySQL的模块返回值问题解决
- android控件跟随手势滑动改变位置