如何高效的进行空值的填充

有时我们需要对spark的dataframe的空值列进行填充，本文介绍几种可以用于填充空值的方法。

全域填充

通过fillna可以对dataframe的每个列的空值进行填充，下面是一个列子，用来填充df5的所有空值。

$ df5.na.fill(False).show()
+----+-------+-----+
| age|   name|  spy|
+----+-------+-----+
|  10|  Alice|false|
|   5|    Bob|false|
|null|Mallory| true|
+----+-------+-----+

同一个值填充多个列

通过设置fill的subset，可以一次指定多个列来进行填充。代码如下：

df  = spark.createDataFrame([[1,2,"name1"], [None,2,None], [3,None,"name3"]], ["id", "id2", "name"])
# 填充一个值，一次指定多个列
df2 = df.na.fill(0, subset=['id', 'id2'])
df2.show()

每列指定不同的填充值

通过字典的参数，可以指定每个列的填充值，代码(python)如下：

df  = spark.createDataFrame([[1,2,"name1"], [None,2,None], [3,None,"name3"]], ["id", "id2", "name"])
# 通过字典指定
df1 = df.na.fill({'id': 0, 'id2': 0, 'name': 'unknown'})
df1.show()

小结

本文介绍了填充dataframe空值的几种方式。

如何高效的进行空值的填充相关推荐

VBA小程序_对于选中的单元格进行取消合并_选择空值向上填充
Sub VBA小程序_对于选中的单元格进行取消合并_选择空值向上填充()Dim a As RangeSet a = Selection '定义变量为最初选择的区域,不忘初心Selection.UnMe ...
python数据表元素不为空值_python 填充空值失败_怎么用 Python 做数据分析实例
01 生成数据表第一部分是生成数据表,常见的生成方法有两种,第一种是导入外部数据,第二种是直接写入数据. Excel 中的文件菜单中提供了获取外部数据的功能,支持数据库和文本文件和页面的多种数据源导 ...
skyline TerraBuilder(TB)处理不规则范围影像，去除空值，填充高程等（转载）
转自:http://www.cnblogs.com/cannel/archive/2013/05/10/3070587.html 今天用TB处理mpt,第一次用到一个范围是不规则多边形的影像,加载到T ...
csv文件缺失值和空值的填充和删除
导入数据包pandas和numpy 读取数值并检查是否有空值调出空值数据删除含有空值的行和列年龄,身高,体重空值填充为0
matlab空值NaN填充
https://jingyan.baidu.com/article/0a52e3f4e86e5ebf62ed728a.html 函数ismissing: 设置一段具有空值nan的数据,当然实际应用中处 ...
python空值填充_pandas | DataFrame基础运算以及空值填充
今天是pandas数据处理专题的第四篇文章,我们一起来聊聊DataFrame的基本运算. 上一篇文章当中我们介绍了DataFrame数据结构当中一些常用的索引的使用方法,比如iloc.loc以及逻辑索 ...
excel根据rgb自动填充颜色_Excel一键定位空值与自动填充
原创微信公众号:实用办公编程技能经常做报表的朋友可能会遇到这种烦恼:"好不容易报表做好了,但是给领导看了后,要求没数据的空值也要填充0!" 然后,我们马不停蹄的一个一个格子开始进 ...
pandas 小技巧——用指定列的“非空值”值去填充另一列的“空值”
举例:有df如下 >import numpy as np >df = pd.DataFrame({"name":["apple", "pe ...
pandas | DataFrame基础运算以及空值填充
本文始发于个人公众号:TechFlow,原创不易,求个关注今天是pandas数据处理专题的第四篇文章,我们一起来聊聊DataFrame中的索引. 上一篇文章当中我们介绍了DataFrame数据结构当 ...

如何高效的进行空值的填充

全域填充

同一个值填充多个列

每列指定不同的填充值

小结

如何高效的进行空值的填充相关推荐

最新文章

热门文章