解决升级Spark2.0之后，DataFrame map操作报错

当我们在使用spark1.6的时候，当我们创建SQLContext读取一个文件之后,返回DataFrame类型的变量可以直接.map操作，不会报错。但是升级之后会包一个错误，如下：

　　报错：No implicits found for parameter evidence$6: Encoder[Unit]

　　主要的错误原因为：　

　　******error: Unable to find encoder for type stored in a Dataset. Primitive types (Int, String, etc) and Product types (case classes) are supported by importing spark.implicits._ Support for serializing other types will be added in future releases. resDf_upd.map(row => {******

　　此时有三种解决方案：

　　第一种：

　　然后大家发现不会在报错误了。

　　第二种：

　　这样也可以

　　第三种：

　　这种是最麻烦的一种，可以参考官网

　　官网上给的是让自定义一个 Encoders，然后下面是我根据官网的例子，写的样例：

　　可以看到，也是可以用的，但是相比较上面两个是非常的麻烦的，所以推荐第一种和第二种，强推第二种，简单。

　　说明：

　　　　以上代码中我用的是SparkSession创建的，当然也可以用SQLContext来创建，但是SQLContext已经过时，不再推荐。

　　　　若是在用SQLContext时，遇到以上错误，同理解决。

解决升级Spark2.0之后，DataFrame map操作报错相关推荐

webview在android8.0,解决Android8.0系统应用打开webView报错
由于webView存在安全漏洞,谷歌从5.1开始全面禁止系统应用使用webview,使用会导致应用崩溃错误提示:Caused by: java.lang.UnsupportedOperationExc ...
Redis 5.0.3默认配置启动报错解决方法
Redis 5.0.3默认配置启动报错解决方法参考文章: (1)Redis 5.0.3默认配置启动报错解决方法 (2)https://www.cnblogs.com/miclesvic/p/1031 ...
Ambiguous mapping. Cannot map *** method 报错解决
开发中,我们常常会遇到很多异常报错,现在就我工作中经常遇到的报错做记录和总结,首先对自己会有很大的帮助,同时希望对读者也起到一定的帮助.废话不多说,先上报错. 1. Ambiguous mapping ...
嵌入式linux开发，对pcf8563时钟操作报错：rtc-pcf8563 0-0051: low voltage detected, date/time is not reliable.
一.问题描述. 嵌入式linux开发,对pcf8563时钟操作报错如下: [root@ms ~]# hwclock -s rtc-pcf8563 0-0051: low voltage detecte ...
升级macOS系统到13之后git报错
环境 Apple M1 Pro macOS Ventura 13.0.1 问题今天升级macOS系统到13之后,打开iterm2报错: Last login: Mon Nov 14 10:50:57 ...
MyEclipse导入jquery-1.8.0.min.js等文件报错的解决方案
2019独角兽企业重金招聘Python工程师标准>>> MyEclipse导入jquery-1.8.0.min.js等文件报错的解决方案 MyEclipse导入jquery-1.8. ...
springboot导入项目依赖报错_如何解决spring boot 项目导入依赖后代码报错问题
如何解决spring boot 项目导入依赖后代码报错问题 2020-08-15 14:17:18 代码截图如图所示(由于本人问题已经解决,没来得及截图,所以在网上找了一张图片) 针对图中所示的 ...
Ubuntu下Linux系统部署fisco时bash操作报错权限不足（permission denied） failed to run command ‘........‘
Ubuntu下Linux系统部署fisco时bash操作报错权限不足(permission denied) failed to run command '-' 例如这里就指的是fisco-bcos这个 ...
数据库操作报错：字符串 ‘xxx：‘ 后的引号不完整
数据库操作报错:字符串 'xxx:' 后的引号不完整这个问题搞了好久,当初想着把这个插入语句删了呢?想了想它是个问题,还是解决吧. ('接收客户端: 其实这段语句是这样的但是,无论我怎么复制,他总 ...

解决升级Spark2.0之后，DataFrame map操作报错

解决升级Spark2.0之后，DataFrame map操作报错相关推荐

最新文章

热门文章