网页爬虫中文乱码问题Python

之前在做爬虫测试时一直出现下图中的中文乱码问题：

试了一些方法更改setting设置之类的都不管用。

然后看了一篇文章解决了我这种问题，这里做个记录：

首先进入网页打开f12，选择Console：

然后输入document.charset可以查看网页的编码格式：

然后在代码中将编码方式设置成和他一样的就行了：

response = requests.get(url, headers=headers)
response.encoding = 'utf-8'  # 加上这一句
print(response.text)

尾页：

这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字

网页爬虫中文乱码问题Python相关推荐

Python爬虫中文乱码问题（爬虫乱码）
在输出内容时,出现如下图的情况: 解决爬虫中文乱码的步骤网址编码为gbk 查看网页源代码的head部分的编码: <meta http-equiv="Content-Type" ...
python爬虫中文乱码解决方法
python爬虫中文乱码解决方法参考文章: (1)python爬虫中文乱码解决方法 (2)https://www.cnblogs.com/surecheun/p/9694052.html 备忘一下.
pycharm爬虫打印网页出现中文乱码问题
pycharm爬虫打印网页出现中文乱码问题今天爬了一天的微博,到现在还没有成功.期间也出现了打印页面中文显示乱码问题. html=session.get(url) print(html.text) ...
解决爬虫中文乱码问题
解决爬虫中文乱码问题今天群里有个人反映某个网址爬出来的网页源代码出现中文乱码,我研究了半天,终于找到了解决方法. 一开始,我是这样做的: import requestsurl = 'http://s ...
node.js 爬虫中文乱码处理
爬虫中文乱码可做如下处理 import request from 'superagent'; import cheerio from 'cheerio';//类似jquery写法 const Icon ...
用HBuilder X编辑器打开的网页出现中文乱码
用HBuilder X编辑器打开的网页出现中文乱码一.问题描述二.尝试解决 1.修改文件打开的指定编码方式(文件--以指定编码重新打开) 2.网上有说在头部加上标签meta和属性 charset= ...
网页显示中文乱码问题
给遇到乱码问题的朋友,提供个思路吧,建议直接看后面的解决方法遇到一个网页显示中文乱码的问题,特别奇怪,折腾了好久.被老大一番神操作给折服了,还能有这样的操作,666呀. 问题是这样的,我需要添加一个 ...
js中html网页打开中文乱码
js中html网页打开中文乱码 (1)一般为编码格式出问题. (2)源代码文件自身的编码格式和定义的不一样. 首先需要定义当前的文件编码格式为utf-8: <meta charset=" ...
python爬虫中文乱码_解决Python爬虫处理文件时候中文名称出现乱码问题
当下如果需要批量处理文件,爬虫网页和图片的时候使用Python是最为简单和高效的.但是在处理过程中还是有一些细节问题,比如在爬虫中文名称和处理中文文件URL的时候会出现乱码.实际上就是因为编码的问题. ...

网页爬虫中文乱码问题Python

网页爬虫中文乱码问题Python相关推荐

最新文章

热门文章