1. 不是utf-8格式，先读取一遍为utf-8，忽略掉错误:

filename = open('E://source_data/insured_utf-8.csv', encoding='utf-8',errors='ignore')
df_chunk = pd.read_csv('E://source_data/insured_utf-8.csv', chunksize=1000000, parse_dates=True, encoding = "utf-8", dtype='object',error_bad_lines= False,engine='c')

2. 出现null bytes错误，使用engine=‘c’:

df_chunk = pd.read_csv('E://source_data/insured_utf-8.csv', chunksize=1000000, parse_dates=True, encoding = "utf-8", dtype='object',error_bad_lines= False,engine='c')

3. 读取成功之后，保存为utf-8格式：

df_concat.to_csv('E://source_data/insured_utf-8.csv',header=True,index=False,encoding = "utf-8")

pandas读取大文件csv容易出现的错误相关推荐

pandas读取大文件（chunksize）并通过sqlalchemy写入MySQL数据库
pandas读取大文件(chunksize)并通过sqlalchemy写入MySQL数据库在pandas中读取表类文件的时候有一个参数chunksize,只要指定了这个参数的数值,那么得到的结果就不 ...
pandas高效读取大文件(csv)方法之-parquet
一.数据类型轻量化 def reduce_df_memory(df):""" iterate through all the columns of a dataframe ...
python读取大文件csv内存溢出_Python，内存错误，csv文件太大
我有一个python模块的问题,它不能处理导入大数据文件(文件目标.csv重量接近1 Gb) 加载此行时出现错误:targets = [(name, float(X), float(Y), float ...
Python——CSV读取大文件报错_csv.Error: field larger than field limit
Python--CSV读取大文件报错_csv.Error: field larger than field limit 使用Python读取较大的csv文件时,可能出现大字段,导致超过字段默认限制,从 ...
python读取大文件-Python如何读取、拆分大文件
简述最近和第三方数据接触较多,数据量也开始陡增,从一开始的1KW行,最大到了1亿行,这让我这个常年处理"小数据'的人有点捉襟见肘.本来数据放在hive中也是可以操作的,但是有时候需求是做一 ...
学python看什么书好1002无标题-如何使用pandas读取txt文件中指定的列(有无标题)
最近在倒腾一个txt文件,因为文件太大,所以给切割成了好几个小的文件,只有第一个文件有标题,从第二个开始就没有标题了. 我的需求是取出指定的列的数据,踩了些坑给研究出来了. import pandas ...
python按列读取txt文件_如何使用pandas读取txt文件中指定的列(有无标题)
最近在倒腾一个txt文件,因为文件太大,所以给切割成了好几个小的文件,只有第一个文件有标题,从第二个开始就没有标题了. 我的需求是取出指定的列的数据,踩了些坑给研究出来了. import pandas ...
python读取指定路径txt文件-如何使用pandas读取txt文件中指定的列(有无标题)
最近在倒腾一个txt文件,因为文件太大,所以给切割成了好几个小的文件,只有第一个文件有标题,从第二个开始就没有标题了. 我的需求是取出指定的列的数据,踩了些坑给研究出来了. import pandas ...
【Python】Pandas读取tsv文件
TSV文件和CSV的文件的区别是:前者使用\t作为分隔符,后者使用,作为分隔符. 使用pandas读取tsv文件的代码如下: train=pd.read_csv('test.tsv', sep='\t ...

pandas读取大文件csv容易出现的错误

文章目录

1. 不是utf-8格式，先读取一遍为utf-8，忽略掉错误:

2. 出现null bytes错误，使用engine=‘c’:

3. 读取成功之后，保存为utf-8格式：

pandas读取大文件csv容易出现的错误相关推荐

最新文章

热门文章