python读取txt文件出现UnicodeError

首先我们看看正常的读取数据过程：

with open('test.txt','r',encoding='utf-8') as f:
#很多时候由于数据量比较大，所以并不建议一次性读取，这里我们选择的是逐行一次读取数据for i in f:pass

在读取数据的过程中，有时候会因为某一行数据中有一些特殊字符而出现编码错误。

'utf-8' codec can't decode byte 0xe8 in position 10

一般想到的是通过异常处理直接跳过，但是想想try加在哪里呢？

加在for i in f这里吗？这样就算跳过了异常那不还是拿不到后面的数据吗？

加 for循环里面就更加不可能了，因为出错是错现在读取过程中，而不是读取之后。

如果是数据量比较小，可以直接打开文件到出错的地方将错误数据修改，或者将那条数据删除都行，但是文件太大了，此时又无法通过打开文件去修改。

其实，可以通过在读取的时候将数据以其他的方式来编码，这个时候是可以正常读取到数据的。

with open('test.txt','r', encoding='ISO-8859-1') as f:for i in f:pass

注意编码之后，还需要进行还原

with open('test.txt', 'r', encoding='ISO-8859-1') as f:for i in tqdm(f):# 打印出来数据是ISO-8859-1编码# print(i)# 此处可能还是会因为数据中的特殊字符导致报错try:# 将读取出来的数据先用ISO-8859-1格式给它编码，然后通过utf-8给它解码x = i.encode('ISO-8859-1').decode('utf-8')except UnicodeError as e:print(e)# 跳过出错的数据x = ''if x == '':print(x)with open('test_new.txt', 'a', encoding='utf-8') as f:f.write(x)

问题解决。

python读取txt文件出现UnicodeError相关推荐

python删除重复值所在的行数_使用python读取txt文件的内容,并删除重复的行数方法...
注意,本文代码是使用在txt文档上,同时txt文档中的内容每一行代表的是图片的名字. #coding:utf-8 import shutil readDir = "原文件绝对路经" ...
python读取txt文件并画图
1,使用python读取txt文件已知txt文件内容如下: 0 01 12 43 94 165 256 36 请以第一列为x轴,第二列为y轴画图步骤如下: 1)使用readlines读取文件 2) ...
python怎么读文件里的某一行-python读取txt文件并取其某一列数据的示例
菜鸟笔记首先读取的txt文件如下: AAAAF110 0003E818 0003E1FC 0003E770 0003FFFC 90 AAAAF110 0003E824 0003E208 0003E7 ...
python读取指定路径txt文件-python读取txt文件并取其某一列数据的示例
菜鸟笔记首先读取的txt文件如下: AAAAF110 0003E818 0003E1FC 0003E770 0003FFFC 90 AAAAF110 0003E824 0003E208 0003E7 ...
python读取txt文件时去除换行符
python读取txt文件时去除换行符 python的readlines()方法用于读取所有行,且返回值是一个列表,换行符包含在字符串中. f = open("temp.txt", ...
python读取txt文件代码-Python txt文件常用读写操作代码实例
python读取txt文件 #方式一: file = r'D: est.txt' with open(file, 'rb+') as f: #可读可写二进制,文件若不存在就创建 data = f.re ...
python读取txt文件为dataframe,python批量读取txt文件为DataFrame
我们有时候会批量处理同一个文件夹下的文件,并且希望读取到一个文件里面便于我们计算操作.比方我有下图一系列的txt文件,我该如何把它们写入一个txt文件中并且读取为DataFrame格式呢? 首先我们要 ...
python读取txt文件并求和,Python读取txt文件数据的方法(用于接口自动化参数化数据)...
小试牛刀: 1.需要python如何读取文件 2.需要python操作list 3.需要使用split()对字符串进行分割代码运行截图 : 代码(copy) #encoding=utf-8 #1.r ...
python读取文件编码错误_关于python 读取txt文件出现编码问题：
python 读取txt文件出现编码问题:UnicodeDecodeError: 'utf-8' codec can't decode byte 0xba in position 5: invalid ...

python读取txt文件出现UnicodeError

python读取txt文件出现UnicodeError相关推荐

最新文章

热门文章