pandas中read_csv的缺失值处理方式

今天遇到的问题是，要将一份csv数据读入dataframe，但某些列中含有NA值。对于这些列来说，NA应该作为一个有意义的level，而不是缺失值，但read_csv函数会自动将类似的缺失值理解为缺失值并变为NaN。

看pandas文档中read_csv函数中这两个参数的描述，默认会将’-1.#IND’, ‘1.#QNAN’, ‘1.#IND’, ‘-1.#QNAN’, ‘#N/A N/A’,’#N/A’, ‘N/A’, ‘NA’, ‘#NA’, ‘NULL’, ‘NaN’, ‘-NaN’, ‘nan’, ‘-nan’, ''转换为NaN，且na_values参数还支持定义另外的应处理为缺失值的值。

值得注意的是keep_default_na参数，这个参数的作用是决定要不要保留默认应该转换的缺失值列表，将这个参数设为False之后同时不定义na_values参数，就可以在读取文件时不将任何值转换为缺失值NaN。

import pandas as pd
df = pd.read_csv('train.csv', keep_default_na=False)

pandas中read_csv的缺失值处理方式相关推荐

【Python基础】在pandas中利用hdf5高效存储数据
1 简介 HDF5(Hierarchical Data Formal)是用于存储大规模数值数据的较为理想的存储格式. 其文件后缀名为h5,存储读取速度非常快,且可在文件内部按照明确的层次存储数据,同一 ...
pandas用众数填充缺失值_7步搞定数据清洗－Python数据清洗指南
脏数据就是在物理上临时存在过,但在逻辑上不存在的数据. 数据清洗是整个数据分析过程的第一步,就像做一道菜之前需要先择菜洗菜一样.数据分析师经常需要花费大量的时间来清洗数据或者转换格式,这个工作甚至会占 ...
Python应用实战-在pandas中利用hdf5高效存储数据
1 简介 HDF5(Hierarchical Data Formal)是用于存储大规模数值数据的较为理想的存储格式. 其文件后缀名为h5,存储读取速度非常快,且可在文件内部按照明确的层次存储数据,同一 ...
pandas 中处理日期相减问题
pandas 中处理日期相减问题. 假设有这样一个需求, 我获取了一组日期是某个人的通话日期, 我想计算出这段时间里面, 没有通话的天数, 以及连续3天以上没有通话的次数 #!/usr/bin ...
pandas中的concat操作
文章目录前言一.表结构相同,首尾合并二.横向表连接三.交叉合并总结前言本文将介绍pandas中concat的数据合并方式,包括首位合并.横向表合并和交叉合并一.表结构相同,首尾合并 # ...
pandas用众数填充缺失值_缺而不失——pandas中常见缺失值处理方法
缺失值的处理是一件艺术活,最高的境界应该是缺而不失.pandas中提供了非常丰富的工具来对缺失值进行处理.这里主要是对常用方法的简要介绍. 注:不同地区和软件对缺失值的表示方法不同,在用pandas读 ...
pandas用众数填充缺失值_sklearn中的数据预处理和特征工程
小伙伴们大家好~o()ブ,我是菜菜,我的开发环境是Jupyter lab,所用的库和版本大家参考: Python 3.7.1(你的版本至少要3.4以上 Scikit-learn 0.20.0 (你的版 ...
pandas中DataFrame的ix，loc，iloc索引方式的异同
pandas中DataFrame的ix,loc,iloc索引方式的异同 1.loc: 按照标签索引,范围包括start和end 2.iloc: 在位置上进行索引,不包括end 3.ix: 先在inde ...
pandas使用dropna函数删除dataframe中全是缺失值的数据列（drop columns with all missing values in dataframe）
pandas使用dropna函数删除dataframe中全是缺失值的数据列(drop columns with all missing values in dataframe) 目录

pandas中read_csv的缺失值处理方式

pandas中read_csv的缺失值处理方式相关推荐

最新文章

热门文章