怎么用python判断数据是否已经存在于表里

这一期咱们继续讲讲一些基本的数据操作。不管是从数据源读取的数据，还是自己造的数据，都可能有部分字段部分行缺失。在数据分析过程中，缺失值的处理是一个很重要的操作。Python的DataFrame对于缺失值显示的是NaN。

首先，咱们还是利用上次造的数据。

import pandas as pd

dic={

'math':[88,66,55],

'physics':[99,77,33],

'science':[55,88,65]

}

df=pd.DataFrame(data=dic,index=['student1','student2','student3'])

1、空值判断

isnull()：是否是空值

notnull()：是否不是空值

使用df.isnull()语句会返回数据表中每个字段是否空值的布尔（true/false）判断。

除此之外，我们也可以用df1.notnull().all(axis=1)判断哪一行有空值。

2、空值的删除与填充

dropna(): 删除丢失数据

fillna(): 填充丢失数据

使用df1.dropna()语句删除任意含有空值的行，如果想要删除任意含有空值的列，可以设置axis=1如df1.dropna(axis=1)

使用df1.fillna(0)语句可以将所有的空值填充为0，也可以填充为任意需要的值。

3、nan的判断

有些时候我们并不想填充nan或是把含nan的行或列去掉，需要保留nan。但是在做数据操作的时候又需要对字段内的nan判断，不能使用isnull语句，该怎么办。

这时候需要另外一个模块——math。

判断某一个单独的数值是否是nan，我都建议使用math模块,即math.isnan()来判断。

我们可以试一下，在python单独制造nan需要用到numpy。

import numpy as np

np.nan is np.nan 结果为True

np.nan == np.nan 结果为False

是不是很神奇，两种写法好像是一样的，可就是出现了不一样的结果。内在原因很复杂，我也不太清楚，有兴趣可以查阅相关资料。

Import math

math.isnan(np.nan) 结果为True。

用math判断nan是比较保险的。另外，判断正负无穷也比较推荐math模块，如：math.isinf(np.inf)

4、字段重命名

如果需要将字段重命名，可以使用rename语句。

df1.rename(columns={'math':'english'},inplace=True)

此语句可以将math字段更名为english,其中有一个小技巧是一定要写inplace=True。只有这样才会将更改落实到df1表里，否则它只会显示你的更改，df1里的字段名还是math。

5、删除列

删除一列：df2=df1.drop('science',axis=1)

删除多列：df3=df1.drop(['science','physics'],axis=1)

删除列的时候一定要记得写axis=1才能达到你想要的效果。

这一期就到这吧，下期再见。

更多内容请关注微信公众号：XiaoXiong-WeiKe

怎么用python判断数据是否已经存在于表里_数据基本操作（二）相关推荐

python数据可视化第三方库有哪些_数据可视化！看看程序员大佬都推荐的几大Python库...
数据可视化是数据分析中极为重要的部分,而数据可视化图表(如条形图,散点图,折线图,地理图等)也是非常关键的一环.Python作为数据分析中最流行的编程语言之一,有几个库可以创建精美而复杂的数据可视化, ...
python股票数据预处理_Python股票处理之六_数据预处理A
1. 说明在数据统计和预测的过程中,工程师基本都使用现成的算法,工程师的主要工作是根据具体业务逻辑预处理数据和选择算法. 首先要对数据预处理(数据清洗),包括数据的归一化,去除重复数据,修改错误数据 ...
外网数据同步到内网方案_数据同步之解决方案
关于数据同步的需求,想必是开发人员都可能遇到!下面就聊聊关于数据同步的解决方案: 一.使用中间表:数据生产者将数据放在一个中间库,数据消费方定时的去这个中间库取数据,用来消费这些数据, 但是这中方案并 ...
大数据对社交媒体的影响_数据如何影响媒体，广告和娱乐职业
大数据对社交媒体的影响 In advance of our upcoming event - Data Science Salon: Applying AI and ML to Media, Adve ...
数据分区与放置策略解析_数据策略好数据与坏数据
数据分区与放置策略解析 In 1990 the Virginia based bank "Signet Bank" decided to trust two smart peopl ...
python 判断字符串是否包含另一个字符串_强烈推荐：Python字符串(string)方法整理（一）...
作者:骏马金龙原文地址: https://www.cnblogs.com/f-ck-need-u/p/9127699.html python中字符串对象提供了很多方法来操作字符串,功能相当丰富. p ...
python判断文件是否为空文件对象_判断Python对象是不是为文件对象的方法有哪些...
判断Python对象是不是为文件对象的方法有哪些发布时间:2020-08-13 14:01:00 来源:亿速云阅读:76 作者:小新这篇文章主要介绍判断Python对象是不是为文件对象的方法有哪 ...
python数据可视化的包怎么安装_数据可视化包 - matplotlib
Matplotlib 1,Matplotlib - 介绍 Matplotlib是一个强大的Python绘图和数据可视化的工具包. # 安装方法 pip install matplotlib # 引用方 ...
[转载] python 判断字符串是否包含另一个字符串_强烈推荐：Python字符串(string)方法整理（一）...
参考链接: python中的字符串string center 作者:骏马金龙原文地址: https://www.cnblogs.com/f-ck-need-u/p/9127699.html pyth ...

怎么用python判断数据是否已经存在于表里_数据基本操作（二）

怎么用python判断数据是否已经存在于表里_数据基本操作（二）相关推荐

最新文章

热门文章