python2 出现\xef\xbb\xbf…的问题

转载自：https://blog.csdn.net/qq_16583687/article/details/72638993

用python读取txt文件，文件的内容是一列数如下：

但是读取的时候第一个元素为‘\xef\xbb\xbf1883’，上网看了一些资料，原来在python的file对象的readline以及readlines程序中，针对一些UTF-8编码的文件，开头会加入BOM来表明编码方式。
解决方法有很多种：
1.这篇博客引用codecs模块，来判断前三个字节是否为BOM_UTF8。如果是，则剔除\xef\xbb\xbf字节。
2.另外还有很多解决方案，可以判断列表中是否有\xef\xbb\xbf字符，如果有，用replace()替换为空的，代码如下：

f = open("2017-5-17-1.txt","r")
lightSen = []for line in f.readlines():**if '\xef\xbb\xbf'  in line:str1 = line.replace('\xef\xbb\xbf','')#用replace替换掉'\xef\xbb\xbf'**lightSen.append(int(str1.strip()))#strip()去掉\nelse:lightSen.append(int(line.strip()))print(lightSen)
f.close

python2 出现\xef\xbb\xbf…的问题相关推荐

python读取二进制文件 \xff\xfe \xef\xbb\xbf
读取二进制文件编码是一个比较麻烦的事情我们在decode二进制文件时,是需要知道编码格式的,除了常见的utf-8,还有UCS-2-Little Endian(utf-16-le)和UTF-8-BOM ...
关于\xEF\xBB\xBF的介绍
UTF-8编码中BOM的检测与删除所谓BOM,全称是Byte Order Mark,它是一个Unicode字符,通常出现在文本的开头,用来标识字节序(Big/Little Endian),除此以外还 ...
Redis中存字段key出现 \xef \xbb \xbf
环境: java向redis中存数据用于重复判断,结果有一条记录居然去不了重复,用Redis DeskTop Manager 查看发现,有一个 key 中居然是这样的: 20190324157:\xE ...
Incorrent string value: '\xEF\xBB\xBF'
前言 Java 读取 txt 文本时,再将读取到的数据写入 mysql 数据库,报错:Incorrent string value: '\xEF\xBB\xBF'... 说明关于utf-8的编码格式 ...
解决\xEF\xBB\xBF问题
解决\xEF\xBB\xBF问题参考文章: (1)解决\xEF\xBB\xBF问题 (2)https://www.cnblogs.com/mao2080/p/8178412.html (3)http ...
python \xef\xbb\xbf --- 去除
比较两个字符串同样都是str 打印出来没有问题都是一样的但是 str1 == str2 一直都是False 将两个字符encode成UTF-8打印发现前面多了\xef\xbb\xbf 查阅资 ...
Python2.7字符编码详解
Python2.7字符编码详解目录 Python2.7字符编码详解声明一. 字符编码基础 1.1 抽象字符清单(ACR) 1.2 已编码字符集(CCS) 1.3 字符编码格式(CEF) 1.3. ...
python2和python3 with open as f写中文乱码
python3和python2的写法不一样具体如下: python3: with open(r'd:\ssss.txt','w',encoding='utf-8') as f: f.write(u'中 ...
python2输出中文乱码各种办法都不行_Python中文全攻略中文乱码输出中文乱码
插入数据库时,总是空,我做了如何操作,就好了.数据是采集过来的,程序是gbk编码 person_sql="insert into analyst(education_id,alys_name ...

python2 出现\xef\xbb\xbf…的问题

python2 出现\xef\xbb\xbf…的问题相关推荐

最新文章

热门文章