map和mapValues的纠纷

map

mapValues

简单来说：

map(func)

返回一个新的RDD，该RDD由每一个输入元素经过func函数转换后组成

mapValues

针对于(K,V)形式的类型只对V进行操作

简单举例：

其实从返回类型就可以看出来：

package suanziimport org.apache.spark.{SparkConf, SparkContext}
import org.apache.spark.rdd.RDDobject Lianxi {def main(args: Array[String]): Unit = {val conf = new SparkConf().setMaster("local").setAppName("CbkDemo")val sc = new SparkContext(conf)sc.setLogLevel("error")val rdd: RDD[(String, Double)] = sc.parallelize(Array(("George", 88.0), ("George", 95.0), ("George", 88.0),("KangKang", 93.0),("KangKang", 95.0), ("KangKang", 98.0),("limu", 98.0)))val mapRdd: RDD[((String, Double), Int)] = rdd.map(x => {(x, 1)})mapRdd.foreach(println)/*** ((George,88.0),1)* ((George,95.0),1)* ((George,88.0),1)* ((KangKang,93.0),1)* ((KangKang,95.0),1)* ((KangKang,98.0),1)* ((limu,98.0),1)*/val mapValuesRdd: RDD[(String, (Double, Int))] = rdd.mapValues(x => {(x ,1)})mapValuesRdd.foreach(println)/*** (George,(88.0,1))* (George,(95.0,1))* (George,(88.0,1))* (KangKang,(93.0,1))* (KangKang,(95.0,1))* (KangKang,(98.0,1))* (limu,(98.0,1))*/}
}

map和mapValues的纠纷相关推荐

python和R对dataframe创建新的列或者改变列：dplyr、rename、map、mapvalues、astype、as.character、as.integer、as.numeric
python和R对dataframe创建新的列或者改变列:dplyr.rename.map.mapvalues.astype.as.character.as.integer.as.numeric # ...
Scala mapValues踩坑记:谨慎使用Scala Map的mapValues, 你需要的可能是transform
我们可以看到在scala 2.13.1最新版本中已经将mapValues方法标记为过时的了并且方法的返回值也从Map变为了MapView 详细踩坑记录可参考此篇文章:https://blog.csd ...
Swift字典Dictionary快速文档
Swift Dictionary字典简述字典就是通过Key - Value对应关系的数据结构. swift与OC字典区别类型: Swift字典是值类型, OC字典类型为引用类型初始化方法 ...
常见算子使用_spark快速入门（二）spark粗略流程简述及常见名词解释
大家元旦快乐,牛年发发发~~牛气冲天o(*￣︶￣*)o spark粗略流程简述 (1)有算子触发Action,Driver端和hdfs的namenode进行通信,询问元数据信息.根据元数据信息及相应 ...
spark常用函数比较
2019独角兽企业重金招聘Python工程师标准>>> 算法分类:转换(transformation)和执行(action) 查看算子使用demo coalesce & re ...
如何在Java应用里集成Spark MLlib训练好的模型做预测
前言昨天媛媛说,你是不是很久没写博客了.我说上一篇1.26号,昨天3.26号,刚好两个月,心中也略微有些愧疚.今天正好有个好朋友问,怎么在Java应用里集成Spark MLlib训练好的模型.在St ...
浅析Hibernate映射（五）——集合映射
浅析Hibernate映射(五)--集合映射集合映射主要包括:set.list.array.map的映射对象模型: 映射后的关系模型: 映射文件: [html] view plaincopypri ...
Hibernate复习笔记
(一)第一个hibernate项目 1.创建java项目 2.创建User Library,加入依赖包 * HIBERNATE_HOME/lib/*.jar * HIBERNATE_HOME/hibe ...
【Hibernate步步为营】--最后的集合映射
上篇文章详细讨论了组合对象映射的原理,它其实指的是如何将对象模型中的组合关系映射到关系模型中,它是通过使用Hibernate提供的<component>标签来实现的,并需要在该标签中添加对 ...

map和mapValues的纠纷

map

mapValues

简单举例：

其实从返回类型就可以看出来：

map和mapValues的纠纷相关推荐

最新文章

热门文章