spark版本升级问题org.apache.spark.Logging

git下面有一个spark项目，用的版本是1.6.2，据说很稳定的一个版本，因为在2.0以后出来一个sparksession整合df和df 于是将spar库版本升到2.4.3，下面是遇到的问题

1.升级后找不到org.apache.spark.Logging。

1.6.2中用的trait Logging 找不到org.apache.spark.Logging。

在spark2.4.3中对应是org.apache.spark.internal.Logging2.toArray()算子已经被collect替代

3.并且编译报错 missing or invalid dependency detected while loading class file 'ProductRDDFunctions.class'.

Error:scalac: missing or invalid dependency detected while loading class file 'ProductRDDFunctions.class'.
Could not access type Logging in package org.apache.spark,
because it (or its dependencies) are missing. Check your build definition for
missing or conflicting dependencies. (Re-run with `-Ylog-classpath` to see the problematic classpath.)
A full rebuild may help if 'ProductRDDFunctions.class' was compiled against an incompatible version of org.apache.spark.

进入到ProductRDDFunctions源码属于 phoenix-spark版本4.9.0-hbase-1.2包中，报错提到Could not access type Logging in package org.apache.spark, 上面提到logging在2.4.3中全路径是org.apache.spark.internal.Logging。可以判定jar不匹配导致的

本地用的spark是2.4.3 scala2.11，在maven库中找比较新的版本（自己选用的4.14.3-HBase-1.3版本），更新pom依赖版本后问题解决

4.升级后编译报错算子mean()，问题为解决，后期解决了补上

   val test: DataFrame = frame.select("rating", "prediction")// rating为表中已有的数据，prediction为计算出的预测值// mean()为取平均值
// 原来的用法// test.map(x=>math.pow(x.getDouble(0)-x.getDouble(1),2)).mean()//修改后的用法val testresult: Dataset[Double] = test.map(x=>math.pow(x.getDouble(0)-x.getDouble(1),2))val MSE: DataFrame = testresult.describe("mean")//修改后编译时报错信息
Error:(32, 45) Unable to find encoder for type Double. An implicit Encoder[Double] is needed to store Double instances in a Dataset. Primitive types (Int, String, etc) and Product types (case classes) are supported by importing spark.implicits._  Support for serializing other types will be added in future releases.val testresult: Dataset[Double] = test.map(x=>math.pow(x.getDouble(0)-x.getDouble(1),2))//按照报错提示添加implicit  var matchError = org.apache.spark.sql.Encoders[DoubleType]依然报错

spark版本升级问题org.apache.spark.Logging相关推荐

spark匹配html字段,Apache Spark中的高效字符串匹配
我不会首先使用Spark,但如果你真的承诺特定的堆栈,你可以结合一堆ml变压器来获得最佳匹配.你需要Tokenizer(或split): import org.apache.spark.ml.feat ...
spark学习：org.apache.spark.SparkException: A master URL must be set in your config
Exception in thread "main" org.apache.spark.SparkException: A master URL must be set in yo ...
spark java udf_在 Apache Spark 中使用 UDF
用户定义函数(User-defined functions, UDFs)是大多数 SQL 环境的关键特性,用于扩展系统的内置功能. UDF允许开发人员通过抽象其低级语言实现来在更高级语言(如SQL)中 ...
spark shell 启动出现org.apache.spark.SparkException: Found both spark.executor.extraClassPath and SPARK
启动spark shell报错: Setting default log level to "WARN". To adjust logging level use sc.setLo ...
Apache Spark源码走读之16 -- spark repl实现详解
欢迎转载,转载请注明出处,徽沪一郎. 概要之所以对spark shell的内部实现产生兴趣全部缘于好奇代码的编译加载过程,scala是需要编译才能执行的语言,但提供的scala repl可以实现代码 ...
Apache Spark 2.2.0 中文文档 - GraphX Programming Guide | ApacheCN
GraphX Programming Guide 概述入门属性 Graph 示例属性 Graph Graph 运算符运算符的汇总表 Property 运算符 Structural 运算符 Joi ...
新手福利：Apache Spark 入门攻略
时至今日,Spark 已成为大数据领域最火的一个开源项目,具备高性能.易于使用等特性.然而作为一个年轻的开源项目,其使用上存在的挑战亦不可为不大,这里为大家分享 SciSpike 软件架构师 Ashw ...
3.如何安装Apache Spark
如何安装Apache Spark 1 Why Apache Spark 2 关于Apache Spark 3 如何安装Apache Spark 4 Apache Spark的工作原理 5 spark弹 ...
分享一个.NET平台开源免费跨平台的大数据分析框架.NET for Apache Spark
今天早上六点半左右微信群里就看到张队发的关于.NET Spark大数据的链接https://devblogs.microsoft.com/dotnet/introducing-net-for-apac ...

spark版本升级问题org.apache.spark.Logging

spark版本升级问题org.apache.spark.Logging相关推荐

最新文章

热门文章