解决python3 UnicodeEncodeError: 'gbk' codec can't encode character '\xXX' in position XX
从网上抓了一些字节流,想打印出来结果发生了一下错误:
UnicodeEncodeError: 'gbk' codec can't encode character '\xbb' in position 8530: illegal multibyte sequence
代码
import urllib.request res=urllib.request.urlopen('http://www.baidu.com') htmlBytes=res.read() print(htmlBytes.decode('utf-8'))
错误信息让人很困惑,为什么用的是'utf-8'解码,错误信息却提示'gbk'错误呢?
不仅如此,从百度首页的html中发现以下代码:
<meta http-equiv="content-type" content="text/html;charset=utf-8">
这说明网页的确用的是utf-8,为什么会出现Error呢?
在python3里,有几点关于编码的常识
1.字符就是unicode字符,字符串就是unicode字符数组
如果用以下代码测试,
print('a'=='\u0061')
会发现结果为True,足以说明两者的等价关系。
2.str转bytes叫encode,bytes转str叫decode,如上面的代码就是将抓到的字节流给decode成unicode数组
我根据上面的错误信息分析了字节流中出现\xbb的地方,发现有个\xc2\xbb的特殊字符»,我怀疑是它无法被解码。
用以下代码测试后
print(b'\xc2\xbb'.decode('utf-8'))
它果然报错了:UnicodeEncodeError: 'gbk' codec can't encode character '\xbb' in position 0: illegal multibyte sequence
上网找了下utf-8编码表,发现的确特殊字符»的utf-8形式就是c2bb,unicode是'\u00bb',为什么无法解码呢。。。
仔细看看错误信息,它提示'gbk'无法encode,但是我的代码是utf-8无法decode,压根牛头不对马嘴,终于让我怀疑是print函数出错了。。于是立即有了以下的测试
print('\u00bb')
结果报错了:UnicodeEncodeError: 'gbk' codec can't encode character '\xbb' in position 0: illegal multibyte sequence
原来是print()函数自身有限制,不能完全打印所有的unicode字符。
知道原因后,google了一下解决方法,其实print()函数的局限就是Python默认编码的局限,因为系统是win7的,python的默认编码不是'utf-8',改一下python的默认编码成'utf-8'就行了
import io import sys import urllib.request sys.stdout = io.TextIOWrapper(sys.stdout.buffer,encoding='utf8') #改变标准输出的默认编码 res=urllib.request.urlopen('http://www.baidu.com') htmlBytes=res.read() print(htmlBytes.decode('utf-8'))
运行后不报错了,但是居然有好多乱码(英文显示正常,中文则显示乱码)!!又一阵折腾后发现是控制台的问题,具体来说就是我在cmd下运行该脚本会有乱码,而在IDLE下运行却很正常。
由此我推测是cmd不能很好地兼容utf8,而IDLE就可以,甚至在IDLE下运行,连“改变标准输出的默认编码”都不用,因为它默认就是utf8。如果一定要在cmd下运行,那就改一下编码,比如我换成“gb18030”,就能正常显示了:
sys.stdout = io.TextIOWrapper(sys.stdout.buffer,encoding='gb18030') #改变标准输出的默认编码
最后,附上一些常用的和中文有关的编码的名称,分别赋值给encoding,就可以看到不同的效果了:
编码名称 | 用途 |
utf8 | 所有语言 |
gbk | 简体中文 |
gb2312 | 简体中文 |
gb18030 | 简体中文 |
big5 | 繁体中文 |
big5hkscs | 繁体中文 |
转载于:https://www.cnblogs.com/yingdiblog/p/8067312.html
解决python3 UnicodeEncodeError: 'gbk' codec can't encode character '\xXX' in position XX相关推荐
- 解决python3 UnicodeEncodeError: 'gbk' codec can't encode character '\U0001f608' in position。。。
1.问题描述: 爬虫后的网页保存文件的时候,将uft-8的编码写入文档,并输出的时候,出现这了这个报错,说gbk无法编码\U0001f608 UnicodeEncodeError: 'gbk' cod ...
- 解决python3 UnicodeEncodeError: ‘gbk‘ codec can‘t encode character ‘\U0001f608‘ in position。。。
- PYTHON3解决‘gbk‘ codec can‘t encode character ‘\xXX‘ in position XX
站在巨人yq0632的肩膀上 之前写了个爬虫获取一些公司公开的信息,但是在往TXT文件写入的时候偶尔会报错'gbk' codec can't encode character '\xXX' in po ...
- Python-logging报错解决:UnicodeEncodeError: 'gbk' codec can't encode character '\u' in position: illegal
我在Python3 中使用Logging模块把日志打到终端输出时会报错. 代码如下: import logging logging.basicConfig(level=logging.INFO,fil ...
- 解决python UnicodeEncodeError: ‘gbk‘ codec can‘t encode character ‘\xb5‘ in position 255: illegal mult
UnicodeEncodeError: 'gbk' codec can't encode character '\ufffd' in position 373: illegal multibyte s ...
- UnicodeEncodeError: ‘gbk‘ codec can‘t encode character ‘\xee‘ in position 71: illegal multibyte sequ
成功解决:UnicodeEncodeError: 'gbk' codec can't encode character '\xee' in position 71: illegal multibyte ...
- Python3 解决编码问题: UnicodeEncodeError: 'gbk' codec can't encode character '\xa9' in position
原博文链接:http://www.aobosir.com/blog/2016/12/08/python3-UnicodeEncodeError-gbk-codec-can't-encode-chara ...
- Python3 解决编码问题: `UnicodeEncodeError: 'gbk' codec can't encode character '\xa0' in position 10: ille
Python3 解决编码问题: UnicodeEncodeError: 'gbk' codec can't encode character '\xa0' in position 10: illega ...
- UnicodeEncodeError: ‘gbk‘ codec can‘t encode character ‘\xbb‘ in position 61547 解决办法
UnicodeEncodeError: 'gbk' codec can't encode character '\xbb' in position 61547: illegal multibyte s ...
最新文章
- 2022-2028年中国数据中台行业深度调研及投资前景预测报告(全卷)
- 小脚本,统计一个目录下满足特定条件文件的代码行数
- leetcode算法题--最优除法
- 逆向分析使用COM组件对象模型的代码
- iOS 崩溃日志在线符号化实践
- 【机器学习算法专题(蓄力计划)】十八、机器学习中SVM算法中的硬间隔和软间隔
- tqdm使用(Python进度条)
- mysql 建表覆盖原先表_mysql表与表之间建关系
- mac scp工具_Mac远程ssh连接乌班图并实现爬虫操作
- 谁知道怎么编写侧边栏的代码吗?
- JZOJ_3928. 射击 (Standard IO)
- break与continue关键字的使用
- 香港十大外汇交易平台排名(2021最新版)
- 虚拟机VMware访问Window共享文件
- 美团的2020年:千亿美元帝国的贪吃蛇游戏,气势汹汹也危机重重
- 二分法解经典题目:切木头
- Linux下JIRA版本5.0.1的安装.破解.汉化
- 非常感人的分手对白:伤感日志
- Windows 远程桌面连接方法及远程桌面控制软件推荐
- 统一网关Gateway-搭建网关服务