处理UnicodeDecodeError: ‘XXX' codec can't decode bytes in position...的问题

错误信息：

UnicodeDecodeError: ‘XXX' codec can't decode bytes in position 2-5: illegal multibyte sequence

这是因为遇到了非法字符，例如：全角空格往往有多种不同的实现方式，比如\xa3\xa0，或者\xa4\x57，
这些字符，看起来都是全角空格，但它们并不是“合法”的全角空格
真正的全角空格是\xa1\xa1，因此在转码的过程中出现了异常。
而之前在处理数据库中的数据时，遇到了非法空格问题导致无法正确解析数据。

解决办法：

#将获取的字符串str做decode时，指明ignore，会忽略非法字符,

#当然对于gbk等编码，处理同样问题的方法是类似的

strTest = str.decode('utf-8', 'ignore')

return strTest

补充：

默认的参数就是strict，代表遇到非法字符时抛出异常；
如果设置为ignore，则会忽略非法字符；
如果设置为replace，则会用?号取代非法字符；
如果设置为xmlcharrefreplace，则使用XML的字符引用。

转载于:https://www.cnblogs.com/zhbzz2007/p/4960440.html

处理UnicodeDecodeError: ‘XXX' codec can't decode bytes in position...的问题相关推荐

UnicodeDecodeError: ‘utf-8‘ codec can‘t decode bytes in position 708-709: invalid continuation byte
UnicodeDecodeError: 'utf-8' codec can't decode bytes in position 708-709: invalid continuation byte
UnicodeDecodeError: 'gb2312' codec can't decode bytes in position 723269-723270: illegal multibyte s
pycharm控制台中文乱码,目标网页编码gb2312编码 <meta http-equiv="Content-Type" content="text/html; ...
解决python偶尔读文件报错：UnicodeDecodeError: ‘utf-8‘ codec can‘t decode bytes in position 1022-1023: unex....
完整报错为:UnicodeDecodeError: 'utf-8' codec can't decode bytes in position 1022-1023: unexpected end of ...
word2vec加载异常解决：UnicodeDecodeError: ‘utf-8‘ codec can‘t decode bytes in position。。。
原文链接:https://blog.csdn.net/W_Honor/article/details/105037033?utm_medium=distribute.pc_relevant.none- ...
UnicodeDecodeError: ‘utf-8‘ codec can‘t decode bytes in position 5098-5099: invalid continuatio byte
问题描述读取数据集(.csv格式)时遇到如下错误: UnicodeDecodeError: 'utf-8' codec can't decode bytes in position 5098-509 ...
pycharm运行异常 UnicodeDecodeError: ‘utf-8‘ codec can‘t decode bytes in position 600-601: invalid contin
pycharm运行异常 UnicodeDecodeError: 'utf-8' codec can't decode bytes in position 600-601: invalid contin ...
pandas read_csv ‘utf-8‘ codec can‘t decode bytes in position 1198-1199: invalid continuation byte解决
pandas read_csv 'utf-8' codec can't decode bytes in position 1198-1199: invalid continuation byte解决 ...
python中trun是什么意思_Python 中 'unicodeescape' codec can't decode bytes in position XXX: trun错误解...
Python 中 'unicodeescape' codec can't decode bytes in position XXX: trun错误解决方案背景描述今天在运用Python pillo ...
python SyntaxError: (unicode error) 'unicodeescape' codec can't decode bytes in position 2-3: trunca
这个是笔者在通过绝对路径读取文件时出现的错误,笔者使用的命令如下 file = open('C:\Users\Wudl\Desktop\pi_digits1.txt','r') 结果出现错误 Synt ...

处理UnicodeDecodeError: ‘XXX' codec can't decode bytes in position...的问题

处理UnicodeDecodeError: ‘XXX' codec can't decode bytes in position...的问题相关推荐

最新文章

热门文章