spark2.0配合hive0.13.1使用问题处理

2019独角兽企业重金招聘Python工程师标准>>>

功能，spark2.0配合hive0.13.1使用，并保存数据到hive

错误： Invalid method name: 'alter_table_with_cascade'

解决1：

将hive-site.xml中的 hive.metastore.uris配置项置空。使用jdo相关配置。此举是将spark提取hive元信息的方式修改为直接从数据库提取。虽然可以解决，但是客户方不给该数据。

解决2:

配置spark-defaults.conf,增加spark.sql.hive.metastore.jars和spark.sql.hive.metastore.version项。

配置完成后 Invalid method name: 'alter_table_with_cascade'异常消失了，

结果运行又出现了NoSuchMethodException:org.apche.hadoop.,hive.ql.metada.Hive. loadTable(org.apche.hadoop.fs.Path,java.lang.String,boolean,boolean)的错误。

找到该类Hive.java，里面的loadTable方法竟然需要5个参数。果然没有4个参数的loadTable 方法。只能参照Shim_v0_14修改 Spark中的HiveShim.scala中的Shim_v0_13类，增加

loadTable和loadPartition方法。重新编译，执行。

竟然好了。看来spark中的bug也挺多，或者我的用法不对？

解决问题中有一个很奇怪的现象：在yarn-client 模式下竟然未出现 loadTable方法未找到的问题

还有遗留问题：为什么yarn-client模式下没有出现问题？

转载于:https://my.oschina.net/292672967/blog/1491753

spark2.0配合hive0.13.1使用问题处理相关推荐

基于Spark的Als算法+自迭代+Spark2.0新写法
主要介绍了一下几点: 1矩阵分解的几种算法 2spark使用矩阵分解的几种方式,1ml 包中使用,2mllib包中的使用,其实有不调用包自己写的案列(可以去看看哈,就在example目录) 3使 ...
Spark2.0机器学习系列之2：Logistic回归及Binary分类（二分问题）结果评估
参数设置 α: 梯度上升算法迭代时候权重更新公式中包含 α : http://blog.csdn.net/lu597203933/article/details/38468303 为了更好理解 ...
ASP.NET SignalR 与 LayIM2.0 配合轻松实现Web聊天室（一）之基层数据搭建，让数据活起来（数据获取）...
大家好,本篇是接上一篇 ASP.NET SignalR 与 LayIM2.0 配合轻松实现Web聊天室(零) 前言 ASP.NET SignalR WebIM系列第二篇.本篇会带领大家将 LayIM ...
解决Mac nginx问题 [emerg] 54933#0: bind() to 0.0.0.0:80 failed (13: Permission denied)
brew services restart nginx Stopping nginx... (might take a while) ==> Successfully stopped nginx ...
Cannot run program /opt/CI/android-sdk-linux/build-tools/26.0.0/aapt: error=13, Permission denied
执行gradle 构建 java.io.IOException: Cannot run program "/opt/CI/android-sdk-linux/build-tools/26.0 ...
spark2.0.1安装部署及使用jdbc连接基于hive的sparksql
2019独角兽企业重金招聘Python工程师标准>>> 1.安装如下配置,除了配置spark还配置了spark history服务 #先到http://spark.apache.o ...
spark2.0.1 安装配置
1. 官网下载 wget http://d3kbcqa49mib13.cloudfront.net/spark-2.0.1-bin-hadoop2.7.tgz 2. 解压 tar -zxvf spar ...
初识Spark2.0之Spark SQL
内存计算平台Spark在今年6月份的时候正式发布了spark2.0,相比上一版本的spark1.6版本,在内存优化,数据组织,流计算等方面都做出了较大的改变,同时更加注重基于DataFrame数据组织 ...
Spark2.0.2+Zeppelin0.6.2 环境搭建初探
0.抱怨与其他(此部分与标题没有太多联系): 首先一点想说的是版本问题,为什么标题我会写清楚版本号呢!原因就是版本不对真的很会坑人. 就在写这篇博客的同一天,我还写了另一篇,是 Hadoop2.7.3 ...

spark2.0配合hive0.13.1使用问题处理

spark2.0配合hive0.13.1使用问题处理相关推荐

最新文章

热门文章