安装hive出现的各种问题(这些问题出现在spark连接mysql的时候)

首先在启动hive的时候，进入debug模式，

hive -hiveconf hive.root.logger=DEBUG,console

才能出现下面的信息，终端上的信息会非常多，我们可以按下shift+pageup键，把信息拷贝到一个txt上，然后搜索error这个单词所在位置，往往就是报错信息，然后进行不断地人机交互．

进入hive 执行show databases时报错，错误如下：

hive FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient

利用/usr/local/Cellar/hive/2.3.1/libexec/bin目录下的hive进入hive，再执行show databases查看日志：

./hive -hiveconf hive.root.logger=DEBUG,console
show databases；

（注：要执行./hiveserver2后再执行该命令）

报如下错误：

The specified datastore driver (“com.mysql.jdbc.Driver”) was not found in the CLASSPATH.

解决办法：把mysql-connector-java-5.1.42.jar包放入libexec/lib目录下。但解决完这个问题后仍然报错，错误如下：

2017-12-05T11:52:50,446 WARN [ecd471e5-d4b9-40b4-bc9a-644fc411f415 main] metastore.MetaStoreDirectSql: Self-test query [select “DB_ID” from “DBS”] failed; direct SQL is disabled
javax.jdo.JDODataStoreException: Error executing SQL query “select “DB_ID” from “DBS”“.
at org.datanucleus.api.jdo.NucleusJDOHelper.getJDOExceptionForNucleusException(NucleusJDOHelper.java:543) ~[datanucleus-api-jdo-4.2.4.jar:?]
……
Caused by: com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: Table ‘hive.dbs’ doesn’t exist
……
2017-12-05T11:52:50,457 ERROR [ecd471e5-d4b9-40b4-bc9a-644fc411f415 main] metastore.RetryingHMSHandler: MetaException(message:Version information not found in metastore. )

原因：没生成源数据表,打开hive-site.xml，设置如下为true

 <property><name>datanucleus.schema.autoCreateAll</name><value>true</value></property>

再执行命令（这个schematool的命令是hive源码包的文件夹种的下面的的bin下面的一个文件，使用下面命令时会出来一大堆的空白，没关系，是正常，一定要耐心等待啊）：

schematool -dbType mysql -initSchema

安装hive出现的各种问题(这些问题出现在spark连接mysql的时候)相关推荐

spark代码连接hive_spark SQL学习（spark连接hive）
spark 读取hive中的数据 scala> import org.apache.spark.sql.hive.HiveContext import org.apache.spark.sql. ...
附录C 编译安装Hive
如果需要直接安装Hive,可以跳过编译步骤,从Hive的官网下载编译好的安装包,下载地址为http://hive.apache.org/downloads.html . C.1 编译Hive C.1 ...
sql安装目录下log文件夹_Linux安装Hive数据仓库工具
1.Hive入门教程 Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行.其优点是 ...
Hive的安装-Hive配置
修改hive的配置文件修改hive-env.sh cd /export/servers/apache-hive-3.1.0-bin/conf cp hive-env.sh.template hive ...
使用cloudera manager安装Hive服务【详细步骤】
使用CM安装Hive服务到节点上建表: ##hive create database hive DEFAULT CHARACTER SET utf8; grant all on hive.* TO ...
hive hql文档_大数据学习不能停，看看如何安装hive快800倍！共572.91M视频文档
前言 hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行. 其优点是学习成本低,可 ...
hadoop.2.6.0安装hive.1.2.2
文章目录 1.hadoop.2.6.0的安装 2.hive.1.2.2的安装 2.1 前提 2.2 解压错误1.提示 1.hadoop.2.6.0的安装参考:https://blog.csdn.n ...
说说单节点集群里安装hive、3\5节点集群里安装hive的诡异区别（版本搭配）
这几天,无意之间,被这件事情给迷惑,不解!先暂时贴于此,以后再解决! 详细问题如下: 在hive的安装目录下(我这里是 /home/hadoop/app/hive-1.2.1),hive的安装目录的l ...
CetnOS 6.7安装Hive 1.2.1
之前已经在CentOS 6.7上安装部署Hadoop 2.7.2(http://blog.csdn.net/noob_f/article/details/53366756),并正常启动Hadoop集群 ...

安装hive出现的各种问题(这些问题出现在spark连接mysql的时候)

安装hive出现的各种问题(这些问题出现在spark连接mysql的时候)相关推荐

最新文章

热门文章