Python requests库中文乱码问题汇总(编码)

在用requests爬取网页时,经常会碰到网页的编码问题导致中文乱码

<dt>ç¹è²æå¡</dt>

这时首先查看页面源代码,看meta标签里的编码是什么,然后设置成相应的编码即可

    response.encoding = 'utf-8'  # 设置编码

但有的时候设置meta标签查看的编码依然乱码,这是可以使用apparent_encoding查看真实编码

response.apparent_encoding

然后设置编码

 response.encoding = 'utf-8'  # 设置编码

还有一种特殊情况,获得的编码是gb2312,这是设置编码为gb2312依然会乱码。

这是因为gb2312支持的汉字较gbk要少很多,所以有些gb2312的网页实际需要用gbk解码。

转载于:https://www.cnblogs.com/IMWU/p/10956124.html

Python requests库中文乱码问题汇总(编码)相关推荐

  1. python requests post 中文乱码问题

    POST 到服务器出现乱码,通过配置header 设置编码解决 import requests headers = {'content-type': 'charset=utf8'}  rq=reque ...

  2. python 中文姓名库,Python Requests库上传文件中文文件名处理方法是什么

    使用Python Requests库,提交POST请求上传文件,不支持中文文件名? 使用Python Requests库,向微信服务器上传媒体问题. 当使用英文文件名称,上传时,一切OK. 当下面代码 ...

  3. python中文字符串编码_浅谈python下含中文字符串正则表达式的编码问题

    前言 Python文件默认的编码格式是ascii ,无法识别汉字,因为ascii码中没有中文. 所以py文件中要写中文字符时,一般在开头加 # -*- coding: utf-8 -*- 或者 #co ...

  4. Python3 requests post 中文乱码 UnicodeEncodeError: ‘latin-1‘ codec can`t encode characters in ……

    本文仅供学习交流使用,如侵立删!demo下载见文末 requests post 中文乱码 UnicodeEncodeError: 'latin-1' ...... 在使用response.post发送 ...

  5. php中gd为什么是乱码的,php gd库中文乱码怎么解决?

    php gd库中文乱码怎么解决?,中文,乱码,字符,选项,字体 php gd库中文乱码怎么解决? 易采站长站,站长之家为您整理了php gd库中文乱码怎么解决?的相关内容. 解决方法:1.网站整站使用 ...

  6. php 日文中文乱码,phpgd库中文乱码的产生与解决方法详解 || mao的博客

    在php jpgraph安装教程之验证php环境是否支持jpgraph安装方法的php教程中我提到了gd库的验证,对于jpgraph中文使用者来说使用 jpgraph时不产生中文乱码是非常必要的,而g ...

  7. Python requests库核心源码解析

    Requests is an elegant and simple HTTP library for Python, built for human beings. Python requests是最 ...

  8. Unicode(UTF-8, UTF-16)令人混淆的概念 和 python unicode转中文及转换默认编码

    Unicode(UTF-8, UTF-16)令人混淆的概念 [转载](https://www.cnblogs.com/fnlingnzb-learner/p/6163205.html) 为啥需要Uni ...

  9. python cmd 窗口 中文乱码 解决方法 (附:打印不同颜色)

    python cmd 窗口 中文乱码 解决方法 (附:打印不同颜色) 参考文章: (1)python cmd 窗口 中文乱码 解决方法 (附:打印不同颜色) (2)https://www.cnblog ...

最新文章

  1. 如何仅从SQL Server DateTime数据类型返回日期
  2. .NET1.1中预编译ASP.NET页面实现原理浅析[1]自动预编译机制浅析
  3. mysql 数据库名称限制_mysql 数据库名称限制
  4. 二进制法生成1-n的子集
  5. java 工厂模式_软件设计工厂模式使用场景介绍及java举例(附源码)
  6. [转载]使用Vitamio打造自己的Android万能播放器(2)—— 手势控制亮度、音量、缩放...
  7. Atitit..组件化事件化的编程模型--(2)---------Web datagridview 服务器端控件的实现原理and总结
  8. 使用pn532将全加密卡复制到手环上 NFC校园门禁卡模拟教程
  9. 通过TCP/IP实现PC(客户端)远程控制开发板(服务器)上LED灯的实验
  10. 2022全新车型汽车配置参数数据库大全
  11. delphi android动态权限,Delphi XE 新功能试用:多种皮肤样式静、动态设置方法
  12. Springboot 基于微信小程序的高校学生疫情在校封闭管理系统的设计与实现 毕业设计-附源码240904
  13. Spooling Directory Source 使用
  14. 再获喜讯,思迈特软件入选2021企业数智化转型升级服务全景图
  15. 剑与家园服务器维护有公告吗,剑与家园全服1.13.2版本停服更新维护公告
  16. LISP 圆孔标记_【CAD】〖30〗生成圆孔明细表
  17. Python+Vue计算机毕业设计报刊征订管理系统uu609(源码+程序+LW+部署)
  18. pytorch 12 支持任意维度数据的梯度平衡机制GHM Loss的实现(支持ignore_index、class_weight,支持反向传播训练,支持多分类)
  19. 子类构造与析构时,父类构造与析构机制
  20. 输入年,月,输出这一年的这个月有多少天

热门文章

  1. Android 中文件类型与MIME的匹配表
  2. python之路 day5
  3. 淘宝分布式NOSQL框架:Tair
  4. svn的使用总结(待补充)
  5. yii2-更改默认显示的通用主页
  6. JQuery Dialog(JS模态窗口,可拖拽的DIV)
  7. 【LeetCode 剑指offer刷题】字符串题12:Valid Palindrome(回文词系列)
  8. Python面试题_中级版
  9. TCP链接的建立与终止
  10. 前端开发人员需知——浏览器详解