[python3.x] 利用chardet检测网页编码

环境：Win7_x64 + python3.4.3

需要先下载chardet并进行安装，下载地址：https://pypi.python.org/packages/source/c/chardet/chardet-2.3.0.tar.gz

安装：进入解压后的目录，在命令窗口执行: python setup.py install

写个测试的python脚本吧(DetectURLCoding.py)：

#coding:utf-8
'''python 3.x'''
import sys
import urllib.request
import chardet
# 将data写入文件fname
def writeFile(fname, data):
f = open(fname, "wb")
if f:
f.write(data)
f.close()
def blog_detect(blogurl):
'''检测编码方式'''
try:
fp = urllib.request.urlopen(blogurl)
except Exception as e:
print(e)
print('download exception-[%s]' %blogurl)
return 0
blog = fp.read()   # python3.x read the html as html code bytearray
fp.close()
#writeFile("t.html", blog)
# get encoding string
codedetect = chardet.detect(blog)['encoding']
print('%s <- %s' %(blogurl, codedetect))
return 1
if __name__=='__main__':
if len(sys.argv) == 1:
print('''usage:
python DetectURLCoding.py http://xxx.com''')
else:
v = blog_detect(sys.argv[1])
print(v)

运行结果：

D:\profile\Desktop>PYTHON de.py http://www.baidu.com
http://www.baidu.com <- utf-8
1
D:\profile\Desktop>PYTHON de.py http://photo.cankaoxiaoxi.com/roll10/2015/0318/709734.shtml
http://photo.cankaoxiaoxi.com/roll10/2015/0318/709734.shtml <- utf-8
1

[python3.x] 利用chardet检测网页编码相关推荐

python 检测文件编码_[常用] 在Python中检测网页编码
[常用] 在Python中检测网页编码在使用Python抓取网页并进行分析时出现这个错误: UnicodeDecodeError: 'utf8' codec can't decode byte 0x ...
【爬虫】获取网页编码、chardet库、Python的字符编码
目录 1.常用网页编码有 2.怎么知道一个网页的编码? 我们知道可以从审查元素(F12)通过查看元素获得. 那么有没有一种方法可以通过代码获取到编码呢? 3.chardet库 1.安装 2.chard ...
python 测试字符串类型_【教程】如何用Python中的chardet去检测字符编码类型
[背景] 之前已经使用过chardet了,也算用了不少次了. 之前也写过和chardet相关的: 但是没写教程,举例说明如何使用. 现在去举例解释解释. [python示例代码演示如何用chardet ...
wpf esc key 检测不到_爬虫笔记之requests检测网站编码方式（zozo.jp）（碎碎念） - CC11001100...
发现有些网站的编码方式比较特殊,使用requests直接请求拿是得不到正确的文本的,比如这个网站: 当使用requests访问网站,使用方式取响应文本的时候,会发现得到的是奇怪的内容: #!/usr/ ...
python字符串成熟编码_python字符串转公式两种方法获取网页编码python版
在web开发的时候我们经常会遇到网页抓取和分析,各种语言都可以完成这个功能.我喜欢用python实现,因为python提供了很多成熟的模块,可以很方便的实现网页抓取. 但是在抓取过程中会遇到编码的问题 ...
探索移动Web网页编码设计
如果你正准备为你的网站制作一个移动设备版本,那这篇文章将会对你相当有用,在本文中,将探索移动Web网页编码设计的各种技巧和注意事项: 为了移动设备上的用户体验可以被接受,代码得怎么设计. Mobile ...
java 网页编码_JAVA如何判断网页编码
前言最近做一个搜索项目,需要爬取很多网站获取需要的信息.在爬取网页的时候,需要获得该网页的编码,不然的话会发现爬取下来的网页有很多都是乱码. 分析一般情况下,网页头信息会指定编码,可以解析head ...
小白必看、手把手教你利用爬虫爬网页
接下来从网络爬虫的概念.用处与价值和结构等三个方面,让大家对网络爬虫有一个基本的了解. 网络爬虫及其应用随着网络的迅速发展,万维网成为大量信息的载体,如何有效地提取并利用这些信息成为一个巨大的挑战, ...
php判断网页编码,python判断网页编码的方法
在web开发的时候我们经常会遇到网页抓取和分析,各种语言都可以完成这个功能.我喜欢用python实现,因为python提供了很多成熟的模块,可以很方便的实现网页抓取. 但是在抓取过程中会遇到编码的问题 ...

[python3.x] 利用chardet检测网页编码

[python3.x] 利用chardet检测网页编码相关推荐

最新文章

热门文章