scala条件替换_Scala：如何使用scala替换Dataframe中的值

注意：

正如Olivier Girardot所提到的,这个答案没有得到优化,而withColumn解决方案就是使用它(Azeroth2b答案)

由于已被接受,因此无法删除此答案

以下是我对此的看法：

val rdd = sc.parallelize(

List( (2012,"Tesla","S"), (1997,"Ford","E350"), (2015,"Chevy","Volt"))

)

val sqlContext = new SQLContext(sc)

// this is used to implicitly convert an RDD to a DataFrame.

import sqlContext.implicits._

val dataframe = rdd.toDF()

dataframe.foreach(println)

dataframe.map(row => {

val row1 = row.getAs[String](1)

val make = if (row1.toLowerCase == "tesla") "S" else row1

Row(row(0),make,row(2))

}).collect().foreach(println)

//[2012,S,S]

//[1997,Ford,E350]

//[2015,Chevy,Volt]

您实际上可以直接在DataFrame上使用map.

所以你基本上检查了第1列的String tesla.

如果是特斯拉,请使用值S for make else,然后使用第1列的当前值

然后使用索引(基于零)(我的示例中的Row(row(0),make,row(2)))构建一个包含行中所有数据的元组

可能有更好的方法.我不熟悉Spark之伞

scala条件替换_Scala：如何使用scala替换Dataframe中的值相关推荐

pandas使用replace函数将dataframe中None值以及其他异常编码值（例如，9999）替换为np.nan
pandas使用replace函数将dataframe中None值以及其他异常编码值(例如,9999)替换为np.nan(replace None and outlier code values wi ...
replace函数对dataframe中的值进行替换（所有数据列中的相同值）
replace函数对dataframe中的值进行替换(所有数据列中的相同值) 目录 replace函数对dataframe中的值进行替换(所有数据列中的相同值)
pandas使用replace函数替换dataframe中的值：replace函数对dataframe中的多个值进行替换、即一次性同时对多个值进行替换操作
pandas使用replace函数替换dataframe中的值:replace函数对dataframe中的多个值进行替换.即一次性同时对多个值进行替换操作目录
pandas使用replace函数替换dataframe中的值:replace函数使用正则表达式对dataframe中的值进行替换
pandas使用replace函数替换dataframe中的值:replace函数使用正则表达式对dataframe中的值进行替换目录
pandas使用replace函数替换dataframe中的值：replace函数对dataframe中指定数据列的值进行替换、替换具体数据列的相关值
pandas使用replace函数替换dataframe中的值:replace函数对dataframe中指定数据列的值进行替换.替换具体数据列的相关值目录
R语言条件判断语句编程：使用if/else语句实现条件逻辑判断、使用all函数判断向量中的值是否全部都满足条件
R语言条件判断语句编程:使用if/else语句实现条件逻辑判断.使用all函数判断向量中的值是否全部都满足条件目录
scala条件替换_scala - 有没有办法用scala中的高阶方法替换嵌套的For循环 - SO中文参考 - www.soinside.com...
有没有办法用scala中的高阶方法替换嵌套的For循环问题描述投票:0回答:1 我有一个mutableList,并希望获取所有行的总和,并根据某些条件将其行替换为其他值.下面的代码对我来说工作正常 ...
【scala】 scala 条件控制和异常处理(二)
[scala] scala 条件控制和异常处理(二) 参考文章: (1)[scala] scala 条件控制和异常处理(二) (2)https://www.cnblogs.com/lonelywo ...
scala面试问题_Scala面试问题
scala面试问题 Before reading this post, please go through my previous post at "Scala Basic Intervie ...
php正则替换%3cbr%3e_PHP preg_replace() 正则替换所有符合条件的字符串
需要我们用程序处理的数据并不总是预先以数据库思维设计的,或者说是无法用数据库的结构去存储的. 比如模版引擎解析模版.垃圾敏感信息过滤等等. 一般这种情况,我们用正则按我们的规则去匹配preg_matc ...

scala条件替换_Scala：如何使用scala替换Dataframe中的值

scala条件替换_Scala：如何使用scala替换Dataframe中的值相关推荐

最新文章

热门文章