Python之动态检测编码chardet
引言: 在互联网的世界里,每个页面都使用了编码,但是形形色色的编码让我们的代码何以得知其棉麻格式呢?charset将很好的解决这个问题。
1. chardet
chardet是Python社区提供了一个类库包,方便我们在代码中动态检测当前页面或者文件中的编码格式信息。接口非常的简单和易用。
Project主页: https://github.com/chardet/chardet
文档主页: http://chardet.readthedocs.io/en/latest/usage.html
2. 使用示例
Notice: 笔者使用的Python 3.5 +
Case 1: 检测特定页面的编码格式
import chardet
import urllib.request
TestData = urllib.request.urlopen('http://www.baidu.com/').read()
print(chardet.detect(TestData))
输出结果:
{'confidence': 0.99, 'encoding': 'utf-8'}
结果分析, 其准确率99%的概率,编码格式为utf-8
使用说明:detect()为其关键方法
Case 2: 增量检测编码格式
import urllib.request
from chardet.universaldetector import UniversalDetector
usock = urllib.request.urlopen('http://yahoo.co.jp/')
detector = UniversalDetector()
for line in usock.readlines():
detector.feed(line)
if detector.done: break
detector.close()
usock.close()
print(detector.result)
输出结果:
{'confidence': 0.99, 'encoding': 'utf-8'}
说明: 为了提高预测的准确性,基于dector.feed()来实现持续的信息输入,在信息足够充足之后结束信息输入,给出相应的预测和判断。
如果需要复用detector方法,需要进行detector.reset()进行重置,从而可以复用。
Case 3: 在安装chardet之后,可以基于命令行来检测文件编码
% chardetect somefile someotherfile
somefile: windows-1252 with confidence 0.5
someotherfile: ascii with confidence 1.0
在系统层面,可以直接基于命令行来进行文件编码检测,非常简单易用。
3. 总结
chardet是非常易用和功能强大的Python包,相信大家在web世界中遨游之时,肯定会用上这个chardet的。 如有问题,欢迎大家反馈给我。
欢迎大家关注我的头条号: 程序加油站
Python之动态检测编码chardet相关推荐
- Python不再为字符集编码发愁,使用chardet轻松解决你的困扰。
欢迎添加华为云小助手微信(微信号:HWCloud002 或 HWCloud003),输入关键字"加群",加入华为云线上技术讨论群:输入关键字"最新活动",获取华 ...
- python第三方库-字符串编码工具 chardet 的使用(python3经典编程案例)
一. chardet介绍 chardet这个第三方库的使用非常容易,chardet支持检测中文.日文.韩文等多种语言. 字符串编码一直是令人非常头疼的问题,尤其是我们在处理一些不规范的第三方网页的时候 ...
- python批量转换文件编码
python批量转换文件编码 3年之前 python 今天在 eclipse 中导入了个之前的 swing 项目,结果跑起来后乱码,检查代码发现竟然一部分 java 文件是 utf-8 编码, ...
- python画曲线-python绘制动态曲线教程
从txt种获取数据 并且通过动态曲线显示 import numpy as np import matplotlib.pyplot as plt import matplotlib.animation ...
- 使用Python和OpenCV检测图片上的条形码
这篇博文的目的是应用计算机视觉和图像处理技术,展示一个条形码检测的基本实现.我所实现的算法本质上基于StackOverflow 上的这个问题,浏览代码之后,我提供了一些对原始算法的更新和改进. 首先需 ...
- python实现多语言语种识别_用Python进行语言检测
最近正好碰到这个需求,总结一下用Python进行语言检测的方法. 1.用unicode编码检测 汉字.韩文.日文等都有对应的unicode字符集范围,只要用正则表达式匹配出来即可. 在判断的时候,往往 ...
- python查看汉字的编码_python有关汉字编码问题
python分为:程序编码(python安装程序).文件编码. 查看程序编码方式:sys.getdefaultencoding() 查看文件编码方式:1.import chardet 2. f = ...
- python 中文转unicode编码_python实现unicode转中文及转换默认编码的方法
本文实例讲述了python实现unicode转中文及转换默认编码的方法.分享给大家供大家参考,具体如下: 一.在爬虫抓取网页信息时常需要将类似"\u4eba\u751f\u82e6\u77e ...
- python图片识别是否p过_用 Python 和 OpenCV 检测图片上的条形码
用 Python 和 OpenCV 检测图片上的的条形码 这篇博文的目的是应用计算机视觉和图像处理技术,展示一个条形码检测的基本实现.我所实现的算法本质上基于StackOverflow 上的这个问题, ...
- Python基础—Py字符编码
文章目录 前言 1 计算机基础知识 2 文本编辑器存取文件的原理 3 python解释器执行.py文件的原理 4 总结python解释器与文件本编辑的异同 一.字符编码介绍 1 什么是字符编码 2 P ...
最新文章
- java实现fread_fread函数读取到的数据和实际数据不一样
- 02Django入门仪式之Hello World
- python入门到精通需要学多久-Python零基础入门到精通:一个月就够了
- python序列类型唯一的映射类型_python2.x学习笔记(8)-映射和集合类型
- Boost:使用行列式函数和transform()算法计算许多4x4矩阵的行列式
- linux安装图像界面
- ASP.NET Web API 入门 (API接口、寄宿方式、HttpClient调用)
- Druid连接池链接mysql错误提示:create connection SQLException, url: jdbc:mysql://127.0.0.1:3306/bank, errorCode
- y空间兑换代码_如何让Python代码加速运行?
- 【最长上升子序列】HDU 1087——Super Jumping! Jumping! Jumping!
- 搭建国产化统信UOS操作系统虚拟机
- 【JIRA学习】 研发项目管理工具工时管理-插件Tempo
- java:输入小写字母转为大写字母
- 「实在RPA学院」电商运营36计:企微批量自动加好友
- fastai 2019 lesson9 notes 笔记
- android屏蔽返回键和Home键
- windows那些讨厌的CPU占用进程
- VBA编程常用语句300句
- 明年打算考会计证 -柯桥有没有推荐的地方-泓畅
- java swing边框_Java Swing边框
热门文章
- IDEA返回上一步和下一步快捷键无效:Ctrl+Alt+左箭头 Ctrl+Alt+右箭头
- 专用计算机国产化替代工作方案,倪光南再谈核心技术自主可控 列举国产替代方案...
- Mac Chrome 安装插件(无VPN)
- html转换为pdf的笔顺,正式出台的笔顺标准写法,很全面!(附电子打印版)
- 网站打不开数据库错误等常见问题解决方法
- gis核密度分析工具_核密度分析工具的初探(Kernel Density)
- 计算机不识别固态硬盘,电脑经常不识别固态硬盘
- 2016年第七届java A组蓝桥杯省赛真题
- vmware安装安卓android详教程,虚拟机安装安卓系统教程
- 单片机实验-存储器实验