pyspark.sql写入mysql_将pyspark dataframe写入MySQL数据库时出错
我得到以下错误:
"Caused by: java.lang.NoSuchMethodException: org.apache.spark.sql.execution.datasources.jdbc.DriverWrapper.()"将pyspark dataframe写入mysql数据库时
spark提交命令:spark-submit --deploy-mode client --master yarn --conf spark.pyspark.python=/usr/bin/python3 --packages mysql:mysql-connector-java:8.0.12 s3://aramark-files/test_pyspark.py
我用的是:
^{pr2}$
以下是我在执行上述spark submit命令后得到的错误:Traceback (most recent call last):
File "/mnt/tmp/spark-8bb457ce-fc88-4384-af58-9e52e2d6e21a/test_pyspark.py", line 51, in
df.write.jdbc(jdbcUrl, where, mode='append', properties=dbProperties)
File "/usr/lib/spark/python/lib/pyspark.zip/pyspark/sql/readwriter.py", line 942, in jdbc
File "/usr/lib/spark/python/lib/py4j-0.10.7-src.zip/py4j/java_gateway.py", line 1257, in __call__
File "/usr/lib/spark/python/lib/pyspark.zip/pyspark/sql/utils.py", line 63, in deco
File "/usr/lib/spark/python/lib/py4j-0.10.7-src.zip/py4j/protocol.py", line 328, in get_return_value
py4j.protocol.Py4JJavaError: An error occurred while calling o79.jdbc.
: java.lang.InstantiationException: org.apache.spark.sql.execution.datasources.jdbc.DriverWrapper
at java.lang.Class.newInstance(Class.java:427)
at org.apache.spark.sql.execution.datasources.jdbc.DriverRegistry$.register(DriverRegistry.scala:53)
at org.apache.spark.sql.execution.datasources.jdbc.JdbcUtils$$anonfun$createConnectionFactory$1.apply(JdbcUtils.scala:55)
at org.apache.spark.sql.execution.datasources.jdbc.JdbcUtils$$anonfun$createConnectionFactory$1.apply(JdbcUtils.scala:54)
at org.apache.spark.sql.execution.datasources.jdbc.JdbcRelationProvider.createRelation(JdbcRelationProvider.scala:63)
at org.apache.spark.sql.execution.datasources.SaveIntoDataSourceCommand.run(SaveIntoDataSourceCommand.scala:45)
at org.apache.spark.sql.execution.command.ExecutedCommandExec.sideEffectResult$lzycompute(commands.scala:70)
at org.apache.spark.sql.execution.command.ExecutedCommandExec.sideEffectResult(commands.scala:68)
at org.apache.spark.sql.execution.command.ExecutedCommandExec.doExecute(commands.scala:86)
at org.apache.spark.sql.execution.SparkPlan$$anonfun$execute$1.apply(SparkPlan.scala:131)
at org.apache.spark.sql.execution.SparkPlan$$anonfun$execute$1.apply(SparkPlan.scala:127)
at org.apache.spark.sql.execution.SparkPlan$$anonfun$executeQuery$1.apply(SparkPlan.scala:155)
at org.apache.spark.rdd.RDDOperationScope$.withScope(RDDOperationScope.scala:151)
at org.apache.spark.sql.execution.SparkPlan.executeQuery(SparkPlan.scala:152)
at org.apache.spark.sql.execution.SparkPlan.execute(SparkPlan.scala:127)
at org.apache.spark.sql.execution.QueryExecution.toRdd$lzycompute(QueryExecution.scala:80)
at org.apache.spark.sql.execution.QueryExecution.toRdd(QueryExecution.scala:80)
at org.apache.spark.sql.DataFrameWriter$$anonfun$runCommand$1.apply(DataFrameWriter.scala:654)
at org.apache.spark.sql.DataFrameWriter$$anonfun$runCommand$1.apply(DataFrameWriter.scala:654)
at org.apache.spark.sql.execution.SQLExecution$.withNewExecutionId(SQLExecution.scala:77)
at org.apache.spark.sql.DataFrameWriter.runCommand(DataFrameWriter.scala:654)
at org.apache.spark.sql.DataFrameWriter.saveToV1Source(DataFrameWriter.scala:273)
at org.apache.spark.sql.DataFrameWriter.save(DataFrameWriter.scala:267)
at org.apache.spark.sql.DataFrameWriter.jdbc(DataFrameWriter.scala:499)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:498)
at py4j.reflection.MethodInvoker.invoke(MethodInvoker.java:244)
at py4j.reflection.ReflectionEngine.invoke(ReflectionEngine.java:357)
at py4j.Gateway.invoke(Gateway.java:282)
at py4j.commands.AbstractCommand.invokeMethod(AbstractCommand.java:132)
at py4j.commands.CallCommand.execute(CallCommand.java:79)
at py4j.GatewayConnection.run(GatewayConnection.java:238)
at java.lang.Thread.run(Thread.java:748)
Caused by: java.lang.NoSuchMethodException: org.apache.spark.sql.execution.datasources.jdbc.DriverWrapper.()
at java.lang.Class.getConstructor0(Class.java:3082)
at java.lang.Class.newInstance(Class.java:412)
... 34 more
pyspark.sql写入mysql_将pyspark dataframe写入MySQL数据库时出错相关推荐
- SQL Server导入.mdf文件及显示附加数据库时出错问题处理
SQL Server安装完成后,运行时出现如下窗口,点击"连接". 本文主要解决导入.mdf文件时报错的问题. (1)导入.mdf文件的方法 1.右击数据库–附加,弹出下面的对话框 ...
- null blob mysql_图像存入MySQL数据库longBLOB出错
在自己编写的一个程序中需要将照片存入MySQL数据库中,我用的字段类型为LongBlob,在将图片数据转换为byte[]类型后写入MySQL数据库时出错.但我用相同长度的空byte[]存入却没问题.部 ...
- SQL Server 2005 在建立与服务器的连接时出错,错误26收藏
今天在用VISIO反向工程时,突然无法链接SQL Server数据库了,错误代码如下 在建立与服务器的连接时出错.在连接到 SQL Server 2005 时,在默认的设置下 SQL Server 不 ...
- SQL Server provider: SQL 网络接口, error: 26 - 定位指定的服务器/实例时出错
在与 SQL Server 建立连接时出现与网络相关的或特定于实例的错误.未找到或无法访问服务器.请验证实例名称是否正确并且 SQL Server 已配置为允许远程连接. (provider: SQL ...
- 【数据库】SQL Server 数据库、附加数据库时出错。有关详细信息,请单击“消息”列中的超链接
总结一下附加数据库时出错的几点常见原因 [若有错误,欢迎指正] 原因 一.登陆方式 甲.在登录验证时,选择"Windows 身份验证",而不是"SQL Server 身份 ...
- SQL Server 2008附加数据库时出错的解决方法
SQL Server 2008附加数据库时出错的解决方法 时间:2014-08-08 csdn博客 胡玉洋 大家可以看到,上面的才是作者,我只是搬运工,备一个到自己的博客我觉得对一个刚接触数据库的人来 ...
- SQL Server数据库 附加数据库时出错。有关详细信息,请单击“消息”列中的超链接。
SQL Server数据库 附加数据库时出错.有关详细信息,请单击"消息"列中的超链接. 我们出现这个问题的原因,这是权限的问题,提升一下权限就行了. 步骤: 1.找到文件鼠标右键 ...
- 关于SQL server导入.mdf文件显示附加数据库时出错。有关详细信息,请单击“消息”列中的超链接
关于SQL server导入.mdf文件显示附加数据库时出错.有关详细信息,请单击"消息"列中的超链接 问题原因 看了一下,应该是从别人那边拷过来的数据库文件没有本地操作系统的权限 ...
- scala写入mysql_spark rdd转dataframe 写入mysql的实例讲解
dataframe是在spark1.3.0中推出的新的api,这让spark具备了处理大规模结构化数据的能力,在比原有的RDD转化方式易用的前提下,据说计算性能更还快了两倍.spark在离线批处理或者 ...
最新文章
- jpa vue管理系统_在JPA 2.1中使用@Convert正确完成映射枚举
- JavaScript学习笔记(五)
- vue+springboot-前台怎么回显本地文件夹下的图片
- 嫦娥之死天蓬元帅的转世
- C# dataGridView控件实用属性及事件总结
- Spring Data JPA 从入门到精通~定义查询方法的配置方法
- 5G网络出现打乱传统网络范式,AI驱动+区块链能搞出啥新花样?
- Python调用C语言函数
- 剑指Offer——把字符串转换成整数
- Java用swing实现的贪吃蛇
- Python日期类的实现
- C#二进制文件读取序列化与反序列化
- MATLAB教程(一)matlib介绍
- 【iOS源码】懒人笔记应用源码
- 成人python培训_B2B优选:成人编程爱好者学习
- bat批处理注释方法总结
- java 操作主机,告诉你java怎么实现键盘操作
- linux解锁文件夹
- 使用Kinect制作变身钢铁侠
- win10修改和隐藏系统输入法指示器
热门文章
- 制作.bat文件快速启动Mongo服务
- 200 多个 npm 包被攻击,Azure 开发者请注意
- TypeScript 令我苦不堪言
- 蚂蚁集团换帅!胡晓明辞任 CEO
- 万万没想到 Java 中最重要的关键字竟然是这个!
- 开发者真的喜欢开源吗?
- 甲骨文重磅发布:客户现可将自治数据库部署在自己的数据中心
- “编程能力差!90%输在了这点上!”谷歌开发:其实你们都是瞎努力
- 清华学霸组团的工业 AIoT 创企再获数千万融资:玩家应推动在边缘 AI 芯片上跑算法...
- 最新 HTTP/2 漏洞曝光,直指 Kubernetes!