这里说明一点：本文提到的解决Spark insertIntoJDBC找不到Mysql驱动的方法是针对单机模式(也就是local模式)。在集群环境下，下面的方法是不行的。这是因为在分布式环境下，加载mysql驱动包存在一个Bug,1.3及以前的版本 --jars 分发的jar在executor端是通过Spark自身特化的classloader加载的。而JDBC driver manager使用的则是系统默认的classloader，因此无法识别。可行的方法之一是在所有 executor 节点上预先装好JDBC driver并放入默认的classpath。
不过Spark 1.4应该已经fix了这个问题，即 --jars 分发的 jar 也会纳入 YARN 的 classloader 范畴。
今天在使用Spark中DataFrame往Mysql中插入RDD，但是一直报出以下的异常次信息：
01
|
[itelbog@iteblog~]$ bin/spark-submit --master local[2]
|
02
|
--jars lib/mysql-connector-java-5.1.35.jar
|
03
|
--class spark.sparkToJDBC ./spark-test_2.10-1.0.jar
|
05
|
spark assembly has been built with Hive, including Datanucleus jars on classpath
|
06
|
Exception in thread "main" java.sql.SQLException: No suitable driver found for
|
07
|
jdbc:mysql://www.iteblog.com:3306/spark?user=root&password=123&useUnicode=
|
08
|
true&characterEncoding=utf8&autoReconnect=true
|
09
|
at java.sql.DriverManager.getConnection(DriverManager.java:602)
|
10
|
at java.sql.DriverManager.getConnection(DriverManager.java:207)
|
11
|
at org.apache.spark.sql.DataFrame.createJDBCTable(DataFrame.scala:1189)
|
12
|
at spark.SparkToJDBC$.toMysqlFromJavaBean(SparkToJDBC.scala:20)
|
13
|
at spark.SparkToJDBC$.main(SparkToJDBC.scala:47)
|
14
|
at spark.SparkToJDBC.main(SparkToJDBC.scala)
|
15
|
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
|
16
|
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
|
17
|
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
|
18
|
at java.lang.reflect.Method.invoke(Method.java:597)
|
19
|
at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$
|
20
|
$runMain(SparkSubmit.scala:569)
|
21
|
at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:166)
|
22
|
at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:189)
|
23
|
at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:110)
|
24
|
at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)
|
感觉很奇怪，我在启动作业的时候加了Mysql驱动啊在，怎么会出现这种异常呢？？经过查找，发现在--jars参数里面加入Mysql是没有用的。通过查找，发现提交的作业可以通过加入--driver-class-path参数来设置driver的classpath，试了一下果然没有出现错误！
1
|
[itelbog@iteblog ~]$ bin/spark-submit --master local[2]
|
2
|
--driver-class-path lib/mysql-connector-java-5.1.35.jar
|
3
|
--class spark.SparkToJDBC ./spark-test_2.10-1.0.jar
|
其实，我们还可以在spark安装包的conf/spark-env.sh通过配置SPARK_CLASSPATH来设置driver的环境变量，如下：
（这里需要注意的是，在Spark1.3版本中，在Spark配置中按如下进行配置时，运行程序时会提示该配置方法在Spark1.0之后的版本已经过时，建议使用另外两个方法；其中一个就是上面讲到的方法。另外一个就是在配置文件中配置spark.executor.extraClassPath，具体配置格式会在试验之后进行补充）
1
|
export SPARK_CLASSPATH=$SPARK_CLASSPATH:/iteblog/com/mysql-connector-java-5.1.35.jar
|
这样也可以解决上面出现的异常。但是，我们不能同时在conf/spark-env.sh里面配置SPARK_CLASSPATH和提交作业加上--driver-class-path参数，否则会出现以下异常：
查看源代码 打印帮助
01
|
[itelbog@iteblog~]$ bin/spark-submit --master local[2]
|
02
|
--driver-class-path lib/mysql-connector-java-5.1.35.jar
|
03
|
--class spark.SparkToJDBC ./spark-test_2.10-1.0.jar
|
05
|
Spark assembly has been built with Hive, including Datanucleus jars on classpath
|
06
|
Exception in thread "main"org.apache.spark.SparkException:
|
07
|
Found both spark.driver.extraClassPath and SPARK_CLASSPATH. Use only the former.
|
08
|
at org.apache.spark.SparkConf$$anonfun$validateSettings$6$$anonfun$apply
|
09
|
$7.apply(SparkConf.scala:339)
|
10
|
at org.apache.spark.SparkConf$$anonfun$validateSettings$6$$anonfun$apply
|
11
|
$7.apply(SparkConf.scala:337)
|
12
|
at scala.collection.immutable.List.foreach(List.scala:318)
|
13
|
at org.apache.spark.SparkConf$$anonfun$validateSettings$6.apply(SparkConf.scala:337)
|
14
|
at org.apache.spark.SparkConf$$anonfun$validateSettings$6.apply(SparkConf.scala:325)
|
15
|
at scala.Option.foreach(Option.scala:236)
|
16
|
at org.apache.spark.SparkConf.validateSettings(SparkConf.scala:325)
|
17
|
at org.apache.spark.SparkContext.<init>(SparkContext.scala:197)
|
18
|
at spark.SparkToJDBC$.main(SparkToJDBC.scala:41)
|
19
|
at spark.SparkToJDBC.main(SparkToJDBC.scala)
|
20
|
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
|
21
|
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
|
22
|
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
|
23
|
at java.lang.reflect.Method.invoke(Method.java:597)
|
24
|
at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$
|
25
|
deploy$SparkSubmit$$runMain(SparkSubmit.scala:569)
|
26
|
at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:166)
|
27
|
at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:189)
|
28
|
at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:110)
|
29
|
at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)
|
本博客文章除特别声明，全部都是原创！
尊重原创，转载请注明： 转载自过往记忆（http://www.iteblog.com/）
本文链接地址: 《Spark insertIntoJDBC找不到Mysql驱动解决方法》（http://www.iteblog.com/archives/1300）
Spark SQL连接数据库找不到Mysql驱动解决方法相关推荐
- JSP项目找不到MySQL驱动解决方法（已解决）
目录 问题 解决方法 我的jsp代码如下 <%@page import="java.sql.*" %> <%@ page import="java.ni ...
- mysql脚本执行中文乱码_MySQL从命令行导入SQL脚本时出现中文乱码的解决方法
本文实例讲述了MySQL从命令行导入SQL脚本时出现中文乱码的解决方法.分享给大家供大家参考,具体如下: 在图形界面管理工具 MySql Query Browser中打开脚本(脚本包括建库.建表.添加 ...
- Spark SQL DataFrame新增一列的四种方法
Spark SQL DataFrame新增一列的四种方法 方法一:利用createDataFrame方法,新增列的过程包含在构建rdd和schema中 方法二:利用withColumn方法,新增列的过 ...
- Erp系统用友U8找不到打印机驱动解决办法
Erp系统用友U8找不到打印机驱动解决办法 前提是电脑已经安装打印机驱动和u8上的打印机插件,然而用u8打印报销单还是显示电脑未安装打印机. 解决办法: 1.找到打印机驱动 2.选择管理进入打印机选项 ...
- wdcp安装mysql_安装wdCP，无法连接mysql，解决方法
安装wdCP,无法连接mysql,解决方法 在ubuntu 12.04版本上安装wdCP,采用编译安装的方式,一路装下来最后悲催地报错了: ERROR 2002 (HY000): Can't conn ...
- navicat无法连接远程mysql数据库_navicat无法远程连接mysql的解决方法
近日在Ubuntu上安装了一个 MySQL 5.0,因为使用 phpMyAdmin 还必须安装 PHP,所以打算直接使用远程管理工具Navicat for MySQL 来连接. 在 Ubuntu 中通 ...
- windows adb usb 找不到设备的解决方法
windows系统下ADB 找不到设备的解决方法 首先,右击我的电脑,点击管理,在设备管理器里找到你的设备,一般在便携设备或者未知设备里,如果你找不到你的设备,请确保设备已经处于开发者模式,并且打开了 ...
- 小米15.6笔记本安装UBUNTU18.04 无WIFI驱动解决方法
小米15.6笔记本安装UBUNTU18.04 无WIFI驱动解决方法 感谢原文博主 原文链接 1.首先查看一下网卡的型号 lshw -C network*-network description: W ...
- 计算机映像缺失磁盘如何修复,重装Win10系统找不到硬盘的解决方法
重装Win10系统找不到硬盘该如何解决?硬盘是计算机的存储设备,是系统安装的所在地,一般电脑系统出现崩溃问题的话,大多数朋友都会选择重装Windows10系统来修复.但是有朋友在重装Win10系统的时 ...
最新文章
- 估计一些物品的质量_新版人教版二年级数学下册《克和千克》教案
- Struts1.x和Struts2.0的Action的区别
- Ubuntu搜狗输入法乱码
- Git for windows 配置
- 解决Layui表格需表头固定悬浮的问题
- C1见习工程师（一）
- 【CAD技巧】CAD字体文字乱码（回复“CAD字体大全”）
- ssb门限_SSB调制
- 计算机控制系统是闭环还是开环,电喷摩托车系统的开环控制与闭环控制
- 2012考研计划时间安排表
- excel中统计每一行中指定字体颜色和填充颜色的单元格求和（不使用VBA）
- Pytorch 梯度计算，叶子节点，requires_grad，detach
- Mac苹果电脑调整磁盘区域大小
- 说说tushare pro积分规则或积分获取的那些坑！
- python画图显示不全屏_关于matplotlib：如何使用Python最大化plt.show()窗口
- 《金刚经》大致说什么
- SqlServer高效汉字转拼音的存储过程
- 机器学习_深度学习毕设题目汇总——人脸A
- CODESYS学习手册
- 国防大学计算机学院,国防大学和国防科技大学是同一所学校吗？很多人傻傻都分不清！...
热门文章
- Swing basic
- AnalogClock和DigitalClock时间和日期控件
- 思维革命：交换两个变量的值
- DEV控件：gridControl常用属性设置
- 【android】string.xml中的一些错误
- 聊聊SQL优化的基础思路
- 互动留言赠书：《Oracle高性能系统实战大全》
- SQL计算宝宝吃奶的时间间隔（二）
- 微服务系统下架构可视化上的探索
- 带你认识FusionInsight Flink：既能批处理，又能流处理
