spark hive udf java_【填坑六】 spark-sql无法加载Hive UDF的jar

/usr/custom/spark/bin/spark-sql --deploy-mode client

add jar hdfs://${clusterName}/user/hive/udf/udf.jar

报错信息如下：

java.lang.ExceptionInInitializerError

at org.apache.hadoop.hdfs.DFSInputStream.blockSeekTo(DFSInputStream.java:662)

at org.apache.hadoop.hdfs.DFSInputStream.readWithStrategy(DFSInputStream.java:889)

at org.apache.hadoop.hdfs.DFSInputStream.read(DFSInputStream.java:947)

at java.io.DataInputStream.read(DataInputStream.java:100)

......

Caused by: java.lang.NullPointerException

at org.apache.hadoop.hdfs.BlockReaderFactory.getRemoteBlockReaderFromTcp(BlockReaderFactory.java:746)

at org.apache.hadoop.hdfs.BlockReaderFactory.build(BlockReaderFactory.java:376)

at org.apache.hadoop.hdfs.DFSInputStream.blockSeekTo(DFSInputStream.java:662)

at org.apache.hadoop.hdfs.DFSInputStream.readWithStrategy(DFSInputStream.java:889)

at org.apache.hadoop.hdfs.DFSInputStream.read(DFSInputStream.java:947)

......

解决方法：

在/usr/custom/spark/conf/spark-defaults.conf文件中添加如下配置：spark.jars=hdfs://cbasNA/user/hive/udf/udf.jar

```

作者：伍柒大人_HQQ

链接：https://www.jianshu.com/p/d630582c8108

來源：简书

简书著作权归作者所有，任何形式的转载都请联系作者获得授权并注明出处。

```

spark hive udf java_【填坑六】 spark-sql无法加载Hive UDF的jar相关推荐

填坑 ---- arcgis api for javascript 加载天地图
写在前面首先要感谢 arcgis api for javascript 加载天地图这篇文章,帮助我完成了在网页中加载天地图. 在此就不再描述加载天地图的方法与过程,只记录我遇到的一个坑与填坑方法. ...
contiki学习笔记（六）contiki程序加载器和多线程库
六.contiki程序加载器 contiki程序加载器是一个用于加载和启动程序的抽象接口. Data Structures struct dsc//DSC程序描述结构. ModulesThe Cont ...
spark运行时加载hive，hdfs配置文件
以前我用spark连接hive都是把hive的配置文件放在spark的conf目录,后来有个项目在运行时才能确定要连接哪个hive源,我就找了个能在运行时加载配置文件的方法,代码如下: import ...
深度实践SPARK机器学习_学习笔记_第二章2.3加载数据
2.3加载数据 1.下载数据文件u.user head -3 u.user ##查看文件前几行 cat u.user |wc -l 或者 more u.user |wc -l ##数文件记录数 ...
关于vue 动态引入（异步加载import和require）组件的方法和坑（按需懒加载组件，动态生成路由）babel-plugin-dynamic-import-node 优化编译速度
前言: 最近在改造vue-cli 2.x + webpack2.x的项目时,由于之前路由是静态的,没有根据菜单权限动态生成前端路由.所以想对此进行改造,然后碰到了一些问题和坑,现在总结一下,避免以后继 ...
坑！页面短视频加载又卡又慢？阿里P8大佬教你两套办法秒开短视频！
作者:闲鱼技术-邻云前言随着短视频兴起,各大APP中短视频随处可见,feeds流.详情页等等.怎样让用户有一个好的视频观看体验显得越来越重要了.大部分feeds里面滑动观看视频的时候,有明显的等待 ...
sql 分组求和_数据仓库工具–Hive（归纳笔记第六部分:SQL练习）
写在开头: 本章是Hive教程第六部分,着重于归纳SQL编写. 文章内容输出来源:拉勾教育大数据高薪训练营. 本章将介绍Hive中常见的面试题和自己的解答思路,以供大家训练和记忆. SQL面试题 1. ...
60-100-340-使用-DataSource-hive相关-Flink加载hive数据源
1.世界 2.概述 3.下载flink-hcatalog 下载flink-hcatalog源码并添加到自己的项目中(不要用它的jar包,因为它依赖的hive库版本都太低了). 路径:http://ce ...
Android studio 使用心得(六)---android studio 如何加载.so文件
2019独角兽企业重金招聘Python工程师标准>>> 之前一直没怎么注意,以为.so文件android为像eclipse一样直接加载,但是直到昨天我在android studio上 ...

spark hive udf java_【填坑六】 spark-sql无法加载Hive UDF的jar

spark hive udf java_【填坑六】 spark-sql无法加载Hive UDF的jar相关推荐

最新文章

热门文章