python爬虫中文乱码_Python 爬虫过程中的中文乱码问题

python+mongodb

在爬虫的过程中，抓到一个中文字段，encode和decode都无法正确显示

注：以下print均是在mongodb中截图显示的，在pythonshell中可能会有所不同

比如中文 “余年”，假设其为变量a

1. print a 结果如下：

使用type查询之后，显示的确是unicode编码（正常情况下讲unicode编码内容直接存入mongodb中是可以正常显示的）

2. print type(a) 结果如下：

3. print a.encode('utf-8') 结果如下：

然后查看a的unicode编码，是这种格式 u''\xe4\xbd\x99\xe5\xb9\xb4"

解决办法：

a = a.encode('ISO 8859-1')

这样将a的由unicode的type变成了str类型的type

然后就可以正确的保存到mongodb中了

Reference:

http://blog.csdn.net/myheadfirst/article/details/46635197

python爬虫中文乱码_Python 爬虫过程中的中文乱码问题相关推荐

爬虫过程中解决html乱码和获取的文本乱码问题
爬虫过程中解决html乱码和获取的文本乱码问题 response1 = requests.get(url=detail_url, headers=headers) responseText1 = re ...
Python 爬虫中国知网论文过程中遇到的坑及解决办法
假期,老师给布置了 Python 爬虫中国知网论文的任务,目前实现了登录和搜索功能,先写一下遇到的坑和解决办法吧. Python 爬虫中国知网论文过程中遇到的坑及解决办法一. selenium 模块 ...
正则表达式 - 去掉乱码字符/提取字符串中的中文字符/提取字符串中的大小写字母 - Python代码
目录 1.乱码符号种类较少,用replace() 2.乱码字符种类较多,用re.sub() 3.提取字符串中的中文字符 4.提取字符串中的中文字符和数字 5.提取其他数据清洗的时候一大烦恼就是数据中 ...
Java通过正则剔除乱码_正则表达式 - 去掉乱码字符/提取字符串中的中文字符/提取字符串中的大小写字母 - Python代码...
目录 1.乱码符号种类较少,用replace() 2.乱码字符种类较多,用re.sub() 3.提取字符串中的中文字符 4.提取字符串中的中文字符和数字 5.提取其他数据清洗的时候一大烦恼就是数据中 ...
python程序员工作怎样-python程序员怎样在面试过程中展现自己的基本功
原标题:python程序员怎样在面试过程中展现自己的基本功当下我国人工智能招聘岗位需求不多,不过后期的发展潜力巨大,而且python程序员的薪资待遇并不比Java程序员的差,Python程序员往往都 ...
python 利用pyinstaller 编译.exe文件过程中编写完的.exe文件执行过程中闪退
问题描述: python 利用pyinstaller 编译.exe文件过程中编写完的.exe文件执行过程中闪退,并提示no module named 'pyproj.datadir' 解决方法: 闪退 ...
NC过程中遇到中文转拼音问题
NC过程中遇到中文转拼音问题在对接接口时,遇到了中文要转拼音的问题,一开始还真没想明白,因为头一次遇到,经过一系列查阅,还是轻松解决了. 一.了解pinyin4j pin ...
python爬虫面试问题_Python爬虫面试总结
## Python爬虫面试总结 1. 写一个邮箱地址的正则表达式? [A-Za-z0-9\u4e00-\u9fa5]+@[a-zA-Z0-9_-]+(\.[a-zA-Z0-9_-]+)+$ 2. 谈 ...
数组乱码_python 爬虫随笔-土办法治乱码
在解析网页时,时常可以看到如下情景: 即在UTF-8编码显示下,网页文字以方块形式出现,防止直接复制. 而网页显示则正常如下: 这种情况下,我们需要的仅仅是数字,则需要找到相应的字体对应规则. 当然, ...

python爬虫中文乱码_Python 爬虫过程中的中文乱码问题

python爬虫中文乱码_Python 爬虫过程中的中文乱码问题相关推荐

最新文章

热门文章