Spark 写出MySQL报错，java.sql.BatchUpdateException

spark DataFrame 写出到MySQL时报如下错误：

java.sql.BatchUpdateException: Column ‘name’ specified twice at sun.reflect

原因：写出的DataFrame 表结构和MySQL中创建的表结构不一致，
2个 DataFrame join 后的结果中有两列都是“name”列。

解决：修改DataFrame写出结构。核心代码如下：

    val res1: Dataset[Row] = studentInfoDF.join(stu_scoresDF, studentInfoDF.col("name") === stu_scoresDF.col("name")).filter(stu_scoresDF.col("score") > 80)res1.show(false) import  spark.implicits._val out: Dataset[(String, Int, String)] = res1.map(row => (row.getAs[String](0),row.getAs[Int](1),row.getAs[String](3)))out.toDF("name","age","score").write.mode("append").jdbc(url,"good_stu",prop)

Spark 写出MySQL报错，java.sql.BatchUpdateException相关推荐

【问题篇】Springboot解决报错“java.sql.SQLException: Unable to load authentication plugin ‘caching_sha2_passw”
场景:从代码仓库拉取以前的代码,运行时发现报错"java.sql.SQLException: Unable to load authentication plugin 'caching_sh ...
MySQL报错：SQL错误[1146][42s02]: Table 'tablename' doesn't exist（记一次以为自己删库的经历）
先说一下这篇文章包含的知识点:bin_log服务查询,bin_log文件转为SQL文件,MySQL重启,MySQL磁盘不足报错,MySQL表名大小写配置事情起因: 操作数据库的是我们的萌新妹子,不太 ...
java 报错定位,问题定位分享（2）spark任务一定几率报错java.lang.NoSuchFieldError: HIVE_MOVE_FILES_THREAD_COUNT...
用yarn cluster方式提交spark任务时,有时会报错,报错几率是40%,报错如下: 18/03/15 21:50:36 116 ERROR ApplicationMaster91: User ...
Spark读取文件，报错java.lang.ArrayIndexOutOfBoundsException
背景: 在 Spark 解析文件的时候,忽然报错 java.lang.ArrayIndexOutOfBoundsException.排查问题,也没发现有任何的异常.最后发现文件中,有一行数据的最后一个 ...
java mysql报表T加1_MySQL报错: java.sql.SQLException: Column count doesn't match value count at row 1...
项目使用了Spring和MyBatis,在往mysql数据库里插入数据时报错如下: org.springframework.jdbc.BadSqlGrammarException: ### Error ...
Hive连接Spark报错java.sql.SQLException: null, message from server: Host 'datanode03' is blocked becaus
背景: 线上一些任务大部分使用Spark Sql来处理Hive的数据:今天任务由于数据量增大,任务耗时也增加,因此导致多个任务同时运行.但是后来任务迟迟运行不完,因此去查看任务日志: 16-08-20 ...
linux部署项目报错java.sql.SQLSyntaxErrorException: Table ‘xxx‘ doesn‘t exist
报错:java.sql.SQLSyntaxErrorException: Table 'examsys.Teacher' doesn't exist 项目写完在本地跑的时候,运行没有任何问题.但是将项 ...
java 调用存储过程无效的列索引_JAVA 调用存储过程报错 java.sql.SQLException: 无效的列索引...
报错信息java.sql.SQLException:无效的列索引atoracle.jdbc.driver.OracleCallableStatement.registerOutParameterInt ...
spark写本地文件报错
环境:spark1.6,window10,Hadoop2.6 报错:rdd.saveastextFile(outPath) 原因: .在spark bin目录下没有winutils.exe问价本地d ...

Spark 写出MySQL报错，java.sql.BatchUpdateException

Spark 写出MySQL报错，java.sql.BatchUpdateException相关推荐

最新文章

热门文章