python pandas 如何找到NaN、缺失值或者某些元素的索引名称以及位置，np.where的使用

我们在处理数据的时候，经常需要检查数据的质量，也需要知道出问题的数据在哪个位置。我找了很久，也尝试了很多办法，都没能找到一种非常直接的函数，本文所要介绍的是一种我认为比较方便的方法：np.where（）

我举个例子

import pandas as pd
import numpy as npdf = pd.DataFrame(np.arange(12).reshape(4,3), index=list('abcd'), columns=list('xyz'))In [14]:df
Out[14]: x   y   z
a  0   1   2
b  3   4   5
c  6   7   8
d  9  10  11

比如你想找到 5 的位置，你想知道它在第几行，第几列

In [16]: np.where(df==5)
Out[16]: (array([1], dtype=int64), array([2], dtype=int64))

可以看到结果返回了一个元祖tuple，里面有两个元素，都是np.ndarray类型的，第一个是行号，第二个是指明列的位置，所以5 是在第2行，第3列

如果我们想检查数据里面掺杂的缺失值NaN的位置的，同样可以用此方法。

# 首先我们将df的第一列变成NaN
df.x = np.nan
df
Out[18]: x   y   z
a NaN   1   2
b NaN   4   5
c NaN   7   8
d NaN  10  11# 然后查查NaN的位置，在写这篇blog的时候我也遇到了一个奇怪的事，上面我用np.nan赋值后，然后用df == np.nan判断，结果很奇怪In [28]: df == np.nan
Out[28]: x      y      z
a  False  False  False
b  False  False  False
c  False  False  False
d  False  False  False# 但是用 numpy 的另一个函数 np.isnan, 却可以判断出nan，具体原因还需要再研究研究np.isnan(df)
Out[25]: x      y      z
a  True  False  False
b  True  False  False
c  True  False  False
d  True  False  False# 因此接我们最初的目的，找出NaN的位置np.where(np.isnan(df))
Out[32]: (array([0, 1, 2, 3], dtype=int64), array([0, 0, 0, 0], dtype=int64))np.where(np.isnan(df))[0] # 选出tuple里面的第一个元素，也就是行号
Out[33]: array([0, 1, 2, 3], dtype=int64)

但如果你觉得只知道行号，列号不能满足你的需求，还想知道元素的索引名称

# 我们现在的df是这个样子的
df
Out[34]: x   y   z
a NaN   1   2
b NaN   4   5
c NaN   7   8
d NaN  10  11# 加入你想知道 NaN 所在的索引，列名，只需要在前面加上 df.index, df.columns 即可In [35]: df.index[np.where(np.isnan(df))[0]]
Out[35]: Index(['a', 'b', 'c', 'd'], dtype='object')
# df.index 是获取行名称，对应后面的[0]取行号In [36]: df.columns[np.where(np.isnan(df))[1]]
Out[36]: Index(['x', 'x', 'x', 'x'], dtype='object')
# df.columns 是获取列名称，对应后面的[1]取列号

Over

python pandas 如何找到NaN、缺失值或者某些元素的索引名称以及位置，np.where的使用相关推荐

python pandas DataFrame 替换 NaN 值和删除 NaN 所在的行。
python pandas DataFrame 替换 NaN 值和删除 NaN 所在的行. import pandas as pd import numpy as np df1 = pd.Data ...
python pandas DataFrame 查找NaN所在的位置
python pandas DataFrame 查找 NaN 所在的位置 import pandas as pd import numpy as np df1 = pd.DataFrame({'日期' ...
pandas使用rename函数自定义重命名dataframe指定索引标签（位置）的名称（customize rename index value or label）
pandas使用rename函数自定义重命名dataframe指定索引标签(位置)的名称(customize rename index value or label) 目录
python pandas dropna 删除空值/缺失值(DataFrame)
文章目录一.函数参数二.例子详解 2.1 载入库 2.2 构建一个DataFrame 2.3 默认参数 2.4 axis 2.5 how 2.6 thresh 2.7 subset 一.函数参数 ...
Python基础教程：获取list中指定元素的索引
在平时开发过程中,经常遇到需要在数据中获取特定的元素的信息,如到达目的地最近的车站,橱窗里面最贵的物品等等.怎么办?看下面方法一: 利用数组自身的特性 list.index(target), 其中a ...
python pandas 讲解ppt_Python数据分析之pandas基本功能讲解
pandas的基本功能重新索引不存在的索引都用同一个值填充: obj.reindex(['a','b','c','d','e'],fill_value=0) out: a -5.3 b 7.2 C ...
python - Pandas基础
pandas 简介基于numpy的工具高效提供了大量库和一些标准的数据模型相当于Numpy的一维数组,但是与普通的一维数组不同,Series支持对数据的自定义标签也就是index(索引),通过索 ...
python字符串替换空格_python - 用pandas中的NaN替换空白值（空格）
python - 用pandas中的NaN替换空白值(空格) 我想在Pandas数据帧中找到包含空格(任意数量)的所有值,并用NaN替换这些值. 有什么想法可以改进吗? 基本上我想转此: A B C ...
pandas用众数填充缺失值_7步搞定数据清洗－Python数据清洗指南
脏数据就是在物理上临时存在过,但在逻辑上不存在的数据. 数据清洗是整个数据分析过程的第一步,就像做一道菜之前需要先择菜洗菜一样.数据分析师经常需要花费大量的时间来清洗数据或者转换格式,这个工作甚至会占 ...

python pandas 如何找到NaN、缺失值或者某些元素的索引名称以及位置，np.where的使用

python pandas 如何找到NaN、缺失值或者某些元素的索引名称以及位置，np.where的使用相关推荐

最新文章

热门文章