python爬虫中文乱码_解决Python爬虫处理文件时候中文名称出现乱码问题

当下如果需要批量处理文件，爬虫网页和图片的时候使用Python是最为简单和高效的。但是在处理过程中还是有一些细节问题，比如在爬虫中文名称和处理中文文件URL的时候会出现乱码。实际上就是因为编码的问题。我们在使用的Python3版本默认编码是utf-8。爬虫到的所有的数据他都会以utf-8进行编码。

这样的话，Python3处理文件的时候会将目标网站爬取进行utf-8编码，如果我们爬取的目标网站是GB2312编码，这样编码不同就会造成乱码。那我们如何处理呢？

第一种、授予编码

import requests

req= requests.get("http://example.com")

req_text=req.text.encode("latin1").decode("GBK")

print(req_text)

第二种、添加字体

参考：https://www.ywowl.com/prolan/python/2018/03/550.html

上传字体simhei.ttf到：

/opt/python3.5/lib/python3.5/site-packages/matplotlib/mpl-data/fonts/ttf

然后修改matplotlibrc配置：

/opt/python3.5/lib/python3.5/site-packages/matplotlib/mpl-data/matplotlibrc

然后将backend的TkAgg换成Agg、注释掉font.family : sans-serif，添加font.sans-serif : SimHei。最后清理清除~/.cache/matplotlib目录缓存。解决图片中文乱码问题的。

python爬虫中文乱码_解决Python爬虫处理文件时候中文名称出现乱码问题相关推荐

python画图显示中文乱码_解决Python pandas plot输出图形中显示中文乱码问题
解决方式一: import matplotlib #1. 获取matplotlibrc文件所在路径 matplotlib.matplotlib_fname() #Out[3]: u'd:\\Anaco ...
python打开中文文件名_解决python打开中文文件名乱码的问题
解决python打开中文文件名乱码的问题发布时间:2020-07-27 11:20:22 来源:亿速云阅读:162 作者:清晨小编给大家分享一下解决python打开中文文件名乱码的问题,相信大部 ...
python读excel乱码_解决Python2.7读写文件中的中文乱码问题
Python2.7对于中文编码的问题处理的并不好,这几天在爬数据的时候经常会遇到中文的编码问题.但是本人对编码原理不了解,也没时间深究其中的原理.在此仅从应用的角度做一下总结, 1.设置默认编码在P ...
python django mysql写入中文乱码_解决django 向mysql中写入中文字符出错的问题
之前使用django+mysql建立的一个站点,发现向数据库中写入中文字符时总会报错,尝试了修改settings文件和更改数据表的字符集后仍不起作用.最后发现,在更改mysql的字符集后,需要重建数据 ...
python输出到文件乱码_解决python解析文件时输出乱码
首先获取到json模块,encoding指定文件编码utf-8,errors报错时忽略错误,print()输出结果看看是否有问题. # -*- coding: utf-8 -*- import jso ...
python字体变方格_解决Python数据可视化中文部分显示方块问题
一.问题代码如下,发现标题的中文显示的是方块 import matplotlib import matplotlib.pyplot as plt fig = plt.figure() ax = fi ...
python连接数据库mysql失败_解决python连接mysql报错问题
解决python连接mysql报错问题最近跑python脚本时遇到一个问题,当sql语句中有中文时,执行python脚本报以下错误: Traceback (most recent call last ...
pip安装了但是python找不到_解决python明明pip安装成功却找不到包的问题
解决python明明pip安装成功却找不到包的问题如下所示: 原因1:版本不对,如用环境变量设置的python3.7路径,那么用的就是3.7的pip.exe安装了包.却用的是2.7的python运行 ...
python画指数函数图像_解决python中的幂函数、指数函数问题
最近在调代码,碰到幂函数.指数函数,总是提示 ValueError: math domain error ValueError: negative number cannot be raised to ...
python sub 不区分大小写_解决Python列表字符不区分大小写的问题
有时候,我们需要检测一个元素是否已经存在列表中,并且不区分大小写,如:列表已有元素Mary,那我们想认为MARY也已经被占用.这个例子在实际编程中会用到很多,比如保证网站注册用户独一无二.邮件姓名独一 ...

python爬虫中文乱码_解决Python爬虫处理文件时候中文名称出现乱码问题

python爬虫中文乱码_解决Python爬虫处理文件时候中文名称出现乱码问题相关推荐

最新文章

热门文章