解决Python爬取百度页面出现中文乱码问题

开始跟着B站上学习爬虫，使用的工具是PyCharm。
视频链接：https://b23.tv/NLp4gz6?share_medium=android&share_source=qq&bbid=XYC5605C8F19F10D959B8A59F386FD514EF41&ts=1640697988835
爬虫代码如下：

# -*- coding: utf-8 -*-
# 爬虫：本质是通过 编写程序 来获取到互联网上的资源
# 百度
# 需求：用程序模拟浏览器，输入一个网址，从该网址中获取到资源或内容from urllib.request import urlopen   # request表示请求库， urlopen打开一个网址url = "http://www.baidu.com"
resp = urlopen(url)   # 打开网址，得到响应# resp.read()  # 从响应中读取内容
# print(resp.read())   # b''表示字节# print(resp.read().decode("utf-8"))
with open("mybaidu.html", mode="w") as f:f.write(resp.read().decode("utf-8"))
print("over!")

运行成功后，打开爬取到的html页面：

会发现里面的中文是乱码。
原本乱码的地方应该是中文：

但该页面在记事本中打开却可以呈现出中文：

那么该如何解决它在PyCharm中显示的是乱码问题呢？

踩过的小坑：

首先根据网上的更改settings的方式：

发现仍然没有效果。
再根据网上说的将mode="w"改成mode=“wb”：

仍然不行。
然后想到将decode(“utf-8”)去掉：

但是，又会报错：

write()函数w模式下只能写入字符串数据，而不能写入字节类型的数据。

最终的解决办法：

最后想到去掉decode(“utf-8”)的同时，再将w模式改成wb模式，wb模式写入的就是字节类型。

最后成功解决了爬取下来的页面在PyCharm中是中文乱码的问题。

解决Python爬取百度页面出现中文乱码问题相关推荐

python爬取百度搜索_使用Python + requests爬取百度搜索页面
想学一下怎样用python爬取百度搜索页面,因为是第一次接触爬虫,遇到一些问题,把解决过程与大家分享一下 1.使用requests爬取网页首先爬取百度主页www.baidu.com import r ...
python爬取百度使用kw关键字爬取时出现，百度安全验证，解决方法
python爬取百度使用kw关键字爬取时出现,百度安全验证,解决方法之前爬取百度用kw时的代码(没有任何问题) import requestsurl = 'http://www.baidu.com/ ...
python爬百度翻译-Python爬取百度翻译（利用json提取数据）
本篇文章给大家带来的内容是关于Python爬取百度翻译(利用json提取数据),有一定的参考价值,有需要的朋友可以参考一下,希望对你有所帮助. 工具:Python 3.6.5.PyCharm开发工具. ...
Python爬取百度翻译及有道翻译
Python爬取百度翻译及网易有道翻译百度翻译一.简介明确翻译链接,百度翻译链接:https://fanyi.baidu.com/,但是该链接不能为我们提供翻译的内容,此时需要在chrome浏览 ...
Python爬取百度图库
Python爬取百度图库页面分析通过Chrome 的开发者模式,我们可以很发现百度图库是通过ajax 加载图片的. 每一次都会发送一个请求:https://image.baidu.com/sea ...
python爬取百度贴吧
利用python爬取百度贴吧的网页,输入贴吧名,起始页,终止页,爬取索要爬取的页面贴吧 ''' import urllib.request import urllib.parse import ti ...
python爬取帖吧图片实验报告,Python爬取百度贴吧图片
原标题:Python爬取百度贴吧图片作者:MTbaby 来源:http://blog.csdn.net/mtbaby/article/details/70209729 描述:用Python爬去百度贴 ...
python爬取百度贴吧图片库_python爬取百度贴吧的图片2
今天看了一下beautifulsoup库的用法,把昨天的python爬取百度贴吧的图片1的代码更新成使用beautifulsoup库的函数来实现.用的还是不太熟练,但是感觉比正则表达式写起来容易了一些 ...
【Python】python爬取百度云网盘资源-源码
今天测试用了一下python爬取百度云网盘资源. 标签: <无> 代码片段 [代码][Python]代码 import urllib import urllib.request impor ...
python爬取百度在线语音合成的音频
python爬取百度在线语音合成 URL:https://ai.baidu.com/tech/speech/tts_online 抓包 api从这里抓包,用的post请求,返回的是base64文件格式 ...

解决Python爬取百度页面出现中文乱码问题

那么该如何解决它在PyCharm中显示的是乱码问题呢？

踩过的小坑：

最终的解决办法：

解决Python爬取百度页面出现中文乱码问题相关推荐

最新文章

热门文章