在web开发的时候我们经常会遇到网页抓取和分析，各种语言都可以完成这个功能。我喜欢用python实现，因为python提供了很多成熟的模块，可以很方便的实现网页抓取。

但是在抓取过程中会遇到编码的问题，那今天我们来看一下如何判断网页的编码：

网上很多网页的编码格式都不一样，大体上是GBK,GB2312，UTF-8等。

我们在获取网页的的数据后，先要对网页的编码进行判断，才能把抓取的内容的编码统一转换为我们能够处理的编码，避免乱码问题的出现。

下面介绍两种判断网页编码的方法：

方法一：使用urllib模块的getparam方法import urllib

fopen1 = urllib.urlopen('http://www.baidu.com').info()

fopen2 = urllib.urlopen('http://www.002pc.com').info()

print fopen1.getparam('charset')# baidu

print fopen2.getparam('charset')# pythontab

002pc.com认为此文章对《python字符串转公式两种方法获取网页编码python版》说的很在理。

执行结果为：

gbk

None

PS: 呵呵，其实，上面的获取的编码都是不正确的，我们可以自己打开网页查看源代码，发现baidu的是gb2312，而pythontab是utf-8。唉，这个方法确实有点坑爹啊。检测不准确、检测不到，它都占了，所以很不靠谱，下面介绍一个靠谱的方法。

方法二：使用chardet模块#如果你的python没有安装chardet模块，你需要首先安装一下chardet判断编码的模块哦

import chardet

import urllib

#先获取网页内容

data = urllib.urlopen('http://www.002pc.com').read()

#用chardet进行内容分析

chardit = chardet.detect(data)

data1 = urllib.urlopen('http://www.baidu.com').read()

chardit1 = chardet.detect(data1)

print chardit['encoding'] # pythontab

print chardit1['encoding'] # baidu

执行结果为：

utf-8

gb2312

这两个结果都是正确的哦，各位可以去亲自验证一下~~

总结：第二个方法很准确，在网页编码分析的时候用python模块分析内容是最准确的，而使用分析meta头信息的方法是不太准确的。

更多:python字符串转公式两种方法获取网页编码python版

https://www.002pc.comhttps://www.002pc.com/python/4630.html

你可能感兴趣的python,网页,编码,获取,两种,方法

js获取按键的值详解@angular/cli 改变默认启动端口两种方式

因为本地希望开启两个项目,由于@angular/cli 生成项目默认是: 4200; 那么肯定会有端口冲突问题;

修改端口的两种方式：

1 修改 schema.json

node_modules\@

js数字变成 号在页面中引入js的两种方法(推荐)

在页面中引入js有两种基本方式：在页面中嵌入js、引用外部js文件。

一、在页面中嵌入jsW WW.002PC .COM认为此文章对《在页面中引入js的两种方法(推荐)》说的很在理。

这是在

dw怎么插入asputf-8 网页不显示+utf-8网页乱码的通用解决方法

常常会发生这样的问题：在浏览使用UTF-8编码的网页时，浏览器无法自动侦测(即没有设定“自动选择”编码格式时)该页面所用的编码。即使网

False使用mysql_fetch_row()函数逐行获取结果集中的每条记录(PHP操作MySQL数据库的方法六)

使用mysql_fetch_row()函数逐行获取结果集中的每条记录(PHP操作MySQL数据库的方法六)前面我们介绍了两种获取结果集中的数据，那么我们今天给大家介绍第三种获取结果集的mysql_f

php数字从大到小排序php实现json编码的方法

《php数字从大到小排序php实现json编码的方法》总结了关于php前端教程，对于我们来www.002pc.com确实能学到不少知识。本文实例讲述了php实现json编码的方法。分享给大家供大

linux怎么查ipCentOS 修改主机名的两种方法

第二电脑网认为此文章对《linux怎么查ipCentOS 修改主机名的两种方法》说的很在理，电脑技术002pc网为你提供最佳的linux入门，电脑技术。

asp.net 是否 对话框ASP.NET抓取网页内容的实现方法

本文实例讲述了ASP.NET抓取网页内容的实现方法。分享给大家供大家参考。

php获取数据库的title网页空白PHP区块查询实现方法分析

本文实例讲述了PHP区块查询实现方法。分享给大家供大家参考，具体如下：

分块查询是介于顺序查询和折半查询之间的一种查询方法。

其实折半查询就是每次折半的分块查询，那么分块

aes.phppython 默认编码( UnicodeDecodeError: 'ascii' codec can't decode)

python在安装时，默认的编码是ascii，当程序中出现非ascii编码时，python的处理常常会报这样的错UnicodeDecodeError: ‘ascii’ codec can’t decode

0踩

赏

0 赞