hive 结构metastone_基于MySQL元数据的Hive的安装和简单测试
3.9 下载驱动,并将驱动复制到hive_home/lib类库
mysql-connector-Java-5.1.31-bin.jar
3.10 启动Hive
3.11 在Hive中创建表
3.12 登录mysql,访问hive数据库
3.13 删除Hive中的表
3.14 登录mysql,查询TBLS中的数据
4. 总结
通过以上的步骤,我们完整的安装了一个Hive,并通过添加和删除一张数据库表的演示,来展示了Hive和Mysql元数据库之间的关系操作。
5. 常见问题
5.1 直接通过hive命令来启动,则会出现一下错误信息:
Logging initialized using configuration in jar:file:/opt/apache-hive-0.13/lib/hive-common-0.13.1.jar!/hive-log4j.properties
Exception in thread "main" java.lang.RuntimeException: java.lang.RuntimeException: Unable to instantiate org.apache.Hadoop.hive.metastore.HiveMetaStoreClient
at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:346)
at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:681)
at org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:625)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:483)
at org.apache.hadoop.util.RunJar.main(RunJar.java:160)
Caused by: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.metastore.HiveMetaStoreClient
at org.apache.hadoop.hive.metastore.MetaStoreUtils.newInstance(MetaStoreUtils.java:1412)
at org.apache.hadoop.hive.metastore.RetryingMetaStoreClient.(RetryingMetaStoreClient.java:62)
at org.apache.hadoop.hive.metastore.RetryingMetaStoreClient.getProxy(RetryingMetaStoreClient.java:72)
at org.apache.hadoop.hive.ql.metadata.Hive.createMetaStoreClient(Hive.java:2453)
at org.apache.hadoop.hive.ql.metadata.Hive.getMSC(Hive.java:2465)
at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:340)
... 7 more
Caused by: java.lang.reflect.InvocationTargetException
at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)
at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
at java.lang.reflect.Constructor.newInstance(Constructor.java:408)
at org.apache.hadoop.hive.metastore.MetaStoreUtils.newInstance(MetaStoreUtils.java:1410)
... 12 more
Caused by: MetaException(message:Could not connect to meta store using any of the URIs provided. Most recent failure: org.apache.thrift.transport.TTransportException: java.net.ConnectException: Connection refused
at org.apache.thrift.transport.TSocket.open(TSocket.java:185)
at org.apache.hadoop.hive.metastore.HiveMetaStoreClient.open(HiveMetaStoreClient.java:336)
at org.apache.hadoop.hive.metastore.HiveMetaStoreClient.(HiveMetaStoreClient.java:214)
at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)
at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
at java.lang.reflect.Constructor.newInstance(Constructor.java:408)
at org.apache.hadoop.hive.metastore.MetaStoreUtils.newInstance(MetaStoreUtils.java:1410)
at org.apache.hadoop.hive.metastore.RetryingMetaStoreClient.(RetryingMetaStoreClient.java:62)
at org.apache.hadoop.hive.metastore.RetryingMetaStoreClient.getProxy(RetryingMetaStoreClient.java:72)
at org.apache.hadoop.hive.ql.metadata.Hive.createMetaStoreClient(Hive.java:2453)
at org.apache.hadoop.hive.ql.metadata.Hive.getMSC(Hive.java:2465)
at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:340)
at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:681)
at org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:625)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:483)
at org.apache.hadoop.util.RunJar.main(RunJar.java:160)
Caused by: java.net.ConnectException: Connection refused
at java.net.PlainSocketImpl.socketConnect(Native Method)
at java.net.AbstractPlainSocketImpl.doConnect(AbstractPlainSocketImpl.java:345)
at java.net.AbstractPlainSocketImpl.connectToAddress(AbstractPlainSocketImpl.java:206)
at java.net.AbstractPlainSocketImpl.connect(AbstractPlainSocketImpl.java:188)
at java.net.SocksSocketImpl.connect(SocksSocketImpl.java:392)
at java.net.Socket.connect(Socket.java:589)
at org.apache.thrift.transport.TSocket.open(TSocket.java:180)
... 19 more
)
at org.apache.hadoop.hive.metastore.HiveMetaStoreClient.open(HiveMetaStoreClient.java:382)
at org.apache.hadoop.hive.metastore.HiveMetaStoreClient.(HiveMetaStoreClient.java:214)
... 17 more
解决办法: hive --service metastore , 用这条命令来启动hive。
5.2 配置 hive.metastore.uris
a.不启动metastore和hiveserver服务
直接命令行hive进入hive shell环境,然后执行show databases 报错如下:
ERROR ql.Driver: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.metastore.HiveMetaStoreClient
b.第二种种情况
1.配置 hive.metastore.uris
2.启动metastore服务 hive --service metastore
然后直接命令行hive进入hive shell环境,然后执行show databases
c:第三种情况
1.注释配置项 hive.metastore.uris
2.不启动metastore服务
然后直接命令行hive进入hive shell环境,然后执行show databases
Hive 的详细介绍:请点这里
Hive 的下载地址:请点这里
hive 结构metastone_基于MySQL元数据的Hive的安装和简单测试相关推荐
- hive 结构metastone_深入理解hive之事务处理
事务的四个特性 1.automicity:原子性 2.consistency:一致性 3. isolation:独立性 4.durability:持久性 5.支持事务有几个条件需要满足:1.所有的事务 ...
- winxp MySQL 5.6.35 免安装版 简单配置
Links MySQL 5.6.35 MySQL 5.6.35 32位 下载地址 Reference MySQL-5.6.13免安装版配置方法 Steps 1. 解压文件,放到任意一个路径(好像不要有 ...
- mysql hive 建表语句_Mysql元数据如何生成Hive建表语句注释脚本详解
前言 本文主要给大家介绍了关于Mysql元数据生成Hive建表语句注释脚本的相关内容,分享出来供大家参考学习,下面话不多说了,来一起看看详细的介绍: 最近在将数据从Mysql 等其他关系型数据库 抽取 ...
- 【大数据入门】Hadoop技术原理与应用之基于Hadoop的数据仓库Hive
基于Hadoop的数据仓库Hive 文章目录 基于Hadoop的数据仓库Hive @[toc] 6.1 概述 6.1.1 数据仓库概念 6.1.2 传统数据仓库面临的挑战 6.1.3 Hive简介 6 ...
- python etl工具 sqoop hive_python脚本 用sqoop把mysql数据导入hive
转:https://blog.csdn.net/wulantian/article/details/53064123 用python把mysql数据库的数据导入到hive中,该过程主要是通过pytho ...
- mysql fabric搭建_MySQL Fabric 安装部署
MySQL Fabric 是一个用于管理 MySQL 服务器群的可扩展框架.该框架实现了两个特性 - 高可用性 (HA) 以及使用数据分片的横向扩展.这两个特性既可以单独使用,也可以结合使用. 环境: ...
- MySQL 8.0 CentOS 7安装手册
MySQL 8.0 CentOS 7安装手册 1 简介 MySQL 8.0是自5.7之后的新版本.本文的安装采用在线安装的方式,所以需要服务器或者虚拟机能访问外网. 2 准备 2.1 安装准备 a) ...
- mysql索引条件下推_MySQL索引条件下推的简单测试
自MySQL 5.6开始,在索引方面有了一些改进,比如索引条件下推(Index condition pushdown,ICP),严格来说属于优化器层面的改进. 如果简单来理解,就是优化器会尽可能的把i ...
- hive集成spark和mysql
参考:http://ihoge.cn/2018/HiveSpark.html 一.Hive安装 1.Hive简介 Hive是Facebook开发的构建于Hadoop集群之上的数据仓库应用,可以将结 ...
最新文章
- 何恺明、吴育昕最新成果:用组归一化替代批归一化
- 上拉电阻与下拉电阻的作用
- Russ Miles:被忽略的架构师和混沌工程
- Nginx作为静态资源web服务
- Linux 下如何处理包含空格和特殊字符的文件名
- verilog中的综合与不可综合
- 十面阿里,菜鸟,天猫,蚂蚁金服题目总汇
- java.util.stream_java.util.stream.Stream 接口中的常用方法
- word文本框跨页显示方法
- hibernate mysql 配置文件_hibernate 框架的配置文件和映射文件以及详解
- CentOS7 安装Mysql5.6 后启动失败处理 The server quit without updating PID file
- java多线程创建一个简单的案例
- EF 使用遇到过的错误记录备忘
- Vue的父子组件通信(转载)
- 接口自动化测试框架搭建(3、excel的设计excel文件的读取)--python+HTMLTestRunnerCN+request+unittest+mock+db
- 69. x 的平方根
- ASO优化秘籍:0成本让一个马甲包月新增15w+自然用户
- 逆波兰表达式(含小数)、C语言
- vue小白的自学笔记
- office 安装出现安装30088-4(5)错误解决方案
热门文章
- python unit test 访问开发代码_python unittest 源码分析
- swt 键盘事件ctrl+c_跑Python的键盘可以很强大
- python中时间处理_Python中处理时间的几种方法小结
- 天线的起源与发展历史
- 干货总结:I2C总线详细要点
- 招不到电子工程师,这锅谁来背?
- FPGA实现智能小车竞速
- 为什么grpc不支持php,带入gRPC:让你的服务同时提供 HTTP 接口
- 循环训练_要想循环增肌,且不会伤害身体,你可以这样安排力量训练
- chinaren校友录恢复重新开放_确定!九寨沟景区9月27日对外开放(试运行) 最大限量为每天5000人 各大旅企产品已上线...