python读取csv文件并修改指定内容-pandas读取CSV文件时查看修改各列的数据类型格式...

下面给大家介绍下pandas读取CSV文件时查看修改各列的数据类型格式，具体内容如下所述：

我们在调bug的时候会经常查看、修改pandas列数据的数据类型，今天就总结一下：

1.查看：

Numpy和Pandas的查看方式略有不同，一个是dtype,一个是dtypes

print(Array.dtype)

#输出int64

print(df.dtypes)

#输出Df下所有列的数据格式 a:int64,b:int64

2.修改

import pandas as pd

import numpy as np

df = pd.read_csv('000917.csv',encoding='gbk')

df = df[df['涨跌幅']!='None']

df['涨跌幅'] = df['涨跌幅'].astype(np.float64)

print(df[df['涨跌幅']>5])

ps：在Pandas中更改列的数据类型

先看一个非常简单的例子：

a = [['a', '1.2', '4.2'], ['b', '70', '0.03'], ['x', '5', '0']]

df = pd.DataFrame(a)

有什么方法可以将列转换为适当的类型？例如，上面的例子，如何将列2和3转为浮点数？有没有办法将数据转换为DataFrame格式时指定类型？或者是创建DataFrame，然后通过某种方法更改每列的类型？理想情况下，希望以动态的方式做到这一点，因为可以有数百个列，明确指定哪些列是哪种类型太麻烦。可以假定每列都包含相同类型的值。

解决方法

可以用的方法简单列举如下：

对于创建DataFrame的情形

如果要创建一个DataFrame，可以直接通过dtype参数指定类型：

df = pd.DataFrame(a, dtype='float') #示例1

df = pd.DataFrame(data=d, dtype=np.int8) #示例2

df = pd.read_csv("somefile.csv", dtype = {'column_name' : str})

对于单列或者Series

下面是一个字符串Seriess的例子，它的dtype为object：

>>> s = pd.Series(['1', '2', '4.7', 'pandas', '10'])

>>> s

0 1

1 2

2 4.7

3 pandas

4 10

dtype: object

使用to_numeric转为数值。默认情况下，它不能处理字母型的字符串'pandas'：

>>> pd.to_numeric(s) # or pd.to_numeric(s, errors='raise')

ValueError: Unable to parse string

可以将无效值强制转换为NaN，如下所示：

>>> pd.to_numeric(s, errors='coerce')

0 1.0

1 2.0

2 4.7

3 NaN

4 10.0

dtype: float64

如果遇到无效值，第三个选项就是忽略该操作：

>>> pd.to_numeric(s, errors='ignore')

# the original Series is returned untouched

对于多列或者整个DataFrame

如果想要将这个操作应用到多个列，依次处理每一列是非常繁琐的，所以可以使用DataFrame.apply处理每一列。

对于某个DataFrame：

>>> a = [['a', '1.2', '4.2'], ['b', '70', '0.03'], ['x', '5', '0']]

>>> df = pd.DataFrame(a, columns=['col1','col2','col3'])

>>> df

col1 col2 col3

0 a 1.2 4.2

1 b 70 0.03

2 x 5 0

然后可以写：

df[['col2','col3']] = df[['col2','col3']].apply(pd.to_numeric)

那么'col2'和'col3'根据需要具有float64类型。

但是，可能不知道哪些列可以可靠地转换为数字类型。在这种情况下，设置参数：

df.apply(pd.to_numeric, errors='ignore')

然后该函数将被应用于整个DataFrame，可以转换为数字类型的列将被转换，而不能(例如，它们包含非数字字符串或日期)的列将被单独保留。

另外pd.to_datetime和pd.to_timedelta可将数据转换为日期和时间戳。

软转换――类型自动推断

版本0.21.0引入了infer_objects()方法，用于将具有对象数据类型的DataFrame的列转换为更具体的类型。

例如，用两列对象类型创建一个DataFrame，其中一个保存整数，另一个保存整数的字符串：

>>> df = pd.DataFrame({'a': [7, 1, 5], 'b': ['3','2','1']}, dtype='object')

>>> df.dtypes

a object

b object

dtype: object

然后使用infer_objects()，可以将列'a'的类型更改为int64：

>>> df = df.infer_objects()

>>> df.dtypes

a int64

b object

dtype: object

由于'b'的值是字符串，而不是整数，因此'b'一直保留。

astype强制转换

如果试图强制将两列转换为整数类型，可以使用df.astype(int)。

示例如下：

a = [['a', '1.2', '4.2'], ['b', '70', '0.03'], ['x', '5', '0']]

df = pd.DataFrame(a, columns=['one', 'two', 'three'])

Out[16]:

one two three

0 a 1.2 4.2

1 b 70 0.03

2 x 5 0

df.dtypes

Out[17]:

one object

two object

three object

df[['two', 'three']] = df[['two', 'three']].astype(float)

df.dtypes

Out[19]:

one object

two float64

three float64

总结

以上所述是小编给大家介绍的pandas读取CSV文件时查看修改各列的数据类型格式，希望对大家有所帮助，如果有任何疑问欢迎给我留言，小编会及时回复大家的！

python读取csv文件并修改指定内容-pandas读取CSV文件时查看修改各列的数据类型格式...相关推荐

python修改csv文件中列的数据类型_pandas读取CSV文件时查看修改各列的数据类型格式...
下面给大家介绍下pandas读取CSV文件时查看修改各列的数据类型格式,具体内容如下所述: 我们在调bug的时候会经常查看.修改pandas列数据的数据类型,今天就总结一下: 1.查看: Numpy和 ...
python读文件一次读特定行_Python3实现从文件中读取指定行的方法 python读取文本内每行指定内容...
如何用python读取文本中指定行的内容在这个世界上说不出口的话太多了,你能不能陪小编去,你能不能留下来,你能不能帮帮小编,你对小编很重要,所以你可不可以不要走,到最后哽咽出口的却是,没关系,小编可以 ...
pythoncsv数据类型_pandas读取CSV文件时查看修改各列的数据类型格式
下面给大家介绍下pandas读取CSV文件时查看修改各列的数据类型格式,具体内容如下所述: 我们在调bug的时候会经常查看.修改pandas列数据的数据类型,今天就总结一下: 1.查看: Numpy和 ...
python txt提取特定数据_Python提取列表中的内容用“python”怎么提取文件里的指定内容？...
用"python"怎么提取文件里的指定内容? python读取文件内容的方法: 一.最方便的方法是一次性读取文件中的所有内容并放置到一个大字符串中: all_the_text = ...
python删除文本中指定内容_Python实现删除文件中含“指定内容”的行示例
本文实例讲述了Python实现删除文件中含指定内容的行.分享给大家供大家参考,具体如下: #!/bin/env python import shutil,sys,os darray = [ " ...
python删除文件部分内容_Python实现删除文件中含“指定内容”的行示例
本文实例讲述了Python实现删除文件中含指定内容的行.分享给大家供大家参考,具体如下: #!/bin/env python import shutil, sys, os darray = [ &qu ...
linux文件删除指定内容,Linux bash删除文件中含“指定内容”的行功能示例
本文实例讲述了Linux bash删除文件中含"指定内容"的行功能.分享给大家供大家参考,具体如下: #!/bin/sh # 功能: 删除文件中含"指定内容"的 ...
bash删除文件中含指定内容的行
#!/bin/sh # 功能: 删除文件中含"指定内容"的行 # 运行方式: ./dline.sh c.log ==> 产生输出文件: c.log0array=(" ...
linux删除具有指定内容的文件,Linux bash删除文件中含“指定内容”的行功能示例...
本文实例讲述了Linux bash删除文件中含"指定内容"的行功能.分享给大家供大家参考,具体如下: #!/bin/sh # 功能: 删除文件中含"指定内容"的 ...

python读取csv文件并修改指定内容-pandas读取CSV文件时查看修改各列的数据类型格式...

python读取csv文件并修改指定内容-pandas读取CSV文件时查看修改各列的数据类型格式...相关推荐

最新文章

热门文章