python用均值填充空值_python-用同一列的平均值填充pyspark DataFrame 列的空值

像这样的 DataFrame ，

rdd_2 = sc.parallelize([(0,10,223,"201601"), (0,10,83,"2016032"),(1,20,None,"201602"),(1,20,3003,"201601"), (1,20,None,"201603"), (2,40, 2321,"201601"), (2,30, 10,"201602"),(2,61, None,"201601")])

df_data = sqlContext.createDataFrame(rdd_2, ["id", "type", "cost", "date"])

df_data.show()

+---+----+----+-------+

+---+----+----+-------+

| 0| 10| 223| 201601|

| 0| 10| 83|2016032|

| 1| 20|null| 201602|

| 1| 20|3003| 201601|

| 1| 20|null| 201603|

| 2| 40|2321| 201601|

| 2| 30| 10| 201602|

| 2| 61|null| 201601|

+---+----+----+-------+

我需要用现有值的平均值填充空值，预期结果为

+---+----+----+-------+

+---+----+----+-------+

| 0| 10| 223| 201601|

| 0| 10| 83|2016032|

| 1| 20|1128| 201602|

| 1| 20|3003| 201601|

| 1| 20|1128| 201603|

| 2| 40|2321| 201601|

| 2| 30| 10| 201602|

| 2| 61|1128| 201601|

+---+----+----+-------+

其中1128是现有值的平均值。我需要在几个专栏中这样做。

我目前的方法是使用na.fill：

fill_values = {column: df_data.agg({column:"mean"}).flatMap(list).collect()[0] for column in df_data.columns if column not in ['date','id']}

df_data = df_data.na.fill(fill_values)

+---+----+----+-------+

+---+----+----+-------+

| 0| 10| 223| 201601|

| 0| 10| 83|2016032|

| 1| 20|1128| 201602|

| 1| 20|3003| 201601|

| 1| 20|1128| 201603|

| 2| 40|2321| 201601|

| 2| 30| 10| 201602|

| 2| 61|1128| 201601|

+---+----+----+-------+

但这很麻烦。有什么想法吗？

python用均值填充空值_python-用同一列的平均值填充pyspark DataFrame 列的空值相关推荐

python读excel字体颜色_python 设置 excel 单元格颜色填充和字体效果
原博文 2020-02-29 23:33 − 0.import import openpyxl from openpyxl.styles import colors, fills, Font, Pat ...
python 拆分excel单元格_Python Excel 单元格拆分并填充内容，功能和的wps类似
一.实现的功能: 二.效果 1.拆分并填充前 2.拆分并填充后三.代码 import openpyxl from copy import deepcopy # 原文:https://www.cnbl ...
python输出文本和值_python读取文本中数据并转化为DataFrame的实例
在技术问答中看到一个这样的问题,感觉相对比较常见,就单开一篇文章写下来. 从纯文本格式文件 "file_in"中读取数据,格式如下: 需要输出成"file_out&quo ...
python设置单元格宽度_Python xlwt-访问现有单元格内容，自动调整列宽
我刚刚实现了一个包装类,它跟踪输入项的宽度.看起来效果不错.import arial10 class FitSheetWrapper(object): """Try to ...
python填充空值_python dataframe均值填充知识点详解
python dataframe均值填充 pandas 用均值填充缺失值列的技巧 pd.DataFrame中通常含有许多特征,有时候需要对每个含有缺失值的列,都用均值进行填充,代码实现可以这样: fo ...
python数据表元素不为空值_python 填充空值失败_怎么用 Python 做数据分析实例
01 生成数据表第一部分是生成数据表,常见的生成方法有两种,第一种是导入外部数据,第二种是直接写入数据. Excel 中的文件菜单中提供了获取外部数据的功能,支持数据库和文本文件和页面的多种数据源导 ...
python居中填充_Python代码中如何将字符串填充为指定长度并保持原字符串居中呢？...
摘要: 下文讲述Python代码中字符串填充的方法分享,如下所示: 字符串填充有很多方法, 如for循环填充,while循环填充那么Python语言中,到底有没有快捷方式对字符串进行填充呢? 下文将 ...
python怎样填充颜色_python中如何给图形填充颜色
使用Turtle不只可以画线条,也可以将画出的封闭线条进行填充. -设定填充色:fillecolor(r, g, b) -开始填充:begin_fill() -结束填充:end_fill() 画一组随 ...
python 渐变色柱形图_Python利用imshow制作自定义渐变填充柱状图(colorbar)
目的在各种各样的理论计算中,常常需要绘制各种填充图,绘制完后需要加渐变填充的colorbar.可是有些软件如VMD,colorbar渲染后颜色分布有些失真,不能较准确的表达各颜色对应的数值.用ps中 ...

python用均值填充空值_python-用同一列的平均值填充pyspark DataFrame 列的空值

python用均值填充空值_python-用同一列的平均值填充pyspark DataFrame 列的空值相关推荐

最新文章

热门文章