解决爬虫中文乱码问题

今天群里有个人反映某个网址爬出来的网页源代码出现中文乱码，我研究了半天，终于找到了解决方法。

一开始，我是这样做的：

import requestsurl = 'http://search.51job.com/jobsearch/search_result.php?fromJs=1&jobarea=090200%2C00&funtype=0000&industrytype=00&keyword=python&keywordtype=2&lang=c&stype=2&postchannel=0000&fromType=1&confirmdate=9'
print requests.get(url).content

这样做，如果用命令行去运行，得到的内容中文显示正常，但如果用pycharm运行得到的确实乱码。

这个问题我一时半会还不知道是为什么，如果有人知道，请告诉我，谢谢！

后来，我在网上查阅资料，发现可以通过下面这种方式解决中文乱码问题：

首先，我们在浏览器中打开网址，通过查看源代码可以发现这个网址采用的编码是GBK：

然后我们通过下面这段代码发现通过requests获取的编码不是GBK，而是ISO-8859-1。

import requestsurl = 'http://search.51job.com/jobsearch/search_result.php?fromJs=1&jobarea=090200%2C00&funtype=0000&industrytype=00&keyword=python&keywordtype=2&lang=c&stype=2&postchannel=0000&fromType=1&confirmdate=9'
print requests.get(url).encoding

所以打印出来的就是乱码，我们需要将编码改为GBK才可以：

import requestsurl = 'http://search.51job.com/jobsearch/search_result.php?fromJs=1&jobarea=090200%2C00&funtype=0000&industrytype=00&keyword=python&keywordtype=2&lang=c&stype=2&postchannel=0000&fromType=1&confirmdate=9' r = requests.get(url) r.encoding = 'GBK' print r.text

这样做，无论你是用pycharm还是命令行去运行，得到的都是正常的中文了。

posted on 2016-12-20 01:23 Kilichko 阅读(...) 评论(...) 编辑收藏

转载于:https://www.cnblogs.com/Yemilice/p/6201224.html

解决爬虫中文乱码问题相关推荐

Python爬虫中文乱码问题（爬虫乱码）
在输出内容时,出现如下图的情况: 解决爬虫中文乱码的步骤网址编码为gbk 查看网页源代码的head部分的编码: <meta http-equiv="Content-Type" ...
python爬虫中文乱码_解决Python爬虫处理文件时候中文名称出现乱码问题
当下如果需要批量处理文件,爬虫网页和图片的时候使用Python是最为简单和高效的.但是在处理过程中还是有一些细节问题,比如在爬虫中文名称和处理中文文件URL的时候会出现乱码.实际上就是因为编码的问题. ...
python爬虫中文乱码解决方法
python爬虫中文乱码解决方法参考文章: (1)python爬虫中文乱码解决方法 (2)https://www.cnblogs.com/surecheun/p/9694052.html 备忘一下.
Python 爬虫中文乱码一文通
如果经常使用Python编程或者是其他语言编程,或者在前面的文章中已经多次使用Python练习网络爬虫技术,就不可避免地会遇到中文乱码的问题.中文乱码问题经常难以理解,或者治标不治本,本文就是来解决这 ...
解决putty中文乱码并远程访问linux界面功能
1,解决putty中文乱码打开putty主程序,选择window-〉Appearance-〉Font settings-〉Change...,选择汉字字体为宋体或楷体在window-〉Appear ...
解决Linux中文乱码
解决Linux中文乱码方法一: 修改/root/.bash_profile文件,增加export LANG=zh_CN.GB18030 对于其他用户,也必须相应修改该文件使用该方法时putt ...
elasticsearch解决控制台中文乱码问题
elasticsearch解决控制台中文乱码问题参考文章: (1)elasticsearch解决控制台中文乱码问题 (2)https://www.cnblogs.com/chenmz1995/p/1 ...
解决flask中文乱码的问题
解决flask中文乱码的问题参考文章: (1)解决flask中文乱码的问题 (2)https://www.cnblogs.com/qiumingcheng/p/11792846.html (3)ht ...
解决request中文乱码问题
解决request中文乱码问题参考文章: (1)解决request中文乱码问题 (2)https://www.cnblogs.com/wangguoning/p/6151517.html 备忘一下.

解决爬虫中文乱码问题

解决爬虫中文乱码问题相关推荐

最新文章

热门文章