python第三方库-字符串编码工具 chardet 的使用（python3经典编程案例）

一. chardet介绍

chardet这个第三方库的使用非常容易，chardet支持检测中文、日文、韩文等多种语言。

字符串编码一直是令人非常头疼的问题，尤其是我们在处理一些不规范的第三方网页的时候。虽然Python提供了Unicode表示的str和bytes两种数据类型，并且可以通过encode()和decode()方法转换，但是，在不知道编码的情况下，对bytes做decode()不好做。

对于未知编码的bytes，要把它转换成str，需要先“猜测”编码。猜测的方式是先收集各种编码的特征字符，根据特征字符判断，就能有很大概率“猜对”。

官方文档：https://chardet.readthedocs.io/en/latest/

github地址：https://github.com/chardet/chardet

安装：pip3 install chardet

截至目前，可以检测的编码：

ASCII, UTF-8, UTF-16 (2 variants), UTF-32 (4 variants)
Big5, GB2312, EUC-TW, HZ-GB-2312, ISO-2022-CN (Traditional and Simplified Chinese)
EUC-JP, SHIFT_JIS, CP932, ISO-2022-JP (Japanese)
EUC-KR, ISO-2022-KR, Johab (Korean)
KOI8-R, MacCyrillic, IBM855, IBM866, ISO-8859-5, windows-1251 (Cyrillic)
ISO-8859-5, windows-1251 (Bulgarian)
ISO-8859-1, windows-1252 (Western European languages)
ISO-8859-7, windows-1253 (Greek)
ISO-8859-8, windows-1255 (Visual and Logical Hebrew)
TIS-620 (Thai)

二. 使用chardet

2.1 检测编码是ascii

当我们拿到一个bytes时，就可以对其检测编码。用chardet检测编码，只需要一行代码：

import chardet
print(chardet.detect(b'Hello, world!'))# 运行结果
# 检测出的编码是ascii，注意到还有个confidence字段，表示检测的概率是1.0（即100%）。
{'encoding': 'ascii', 'confidence': 1.0, 'language': ''}

2.2 检测GBK编码：

import chardet
data = '真相只有一个'.encode('gbk')
print(chardet.detect(data))# 运行结果
# 检测的编码是GB2312，注意到GBK是GB2312的超集，两者是同一种编码，检测正确的概率是99%，
# language字段指出的语言是'Chinese'。
{'encoding': 'GB2312', 'confidence': 0.99, 'language': 'Chinese'}

2.3 对UTF-8编码进行检测

import chardet
data = '真相只有一个'.encode('utf-8')
print(chardet.detect(data))# 运行结果
{'encoding': 'utf-8', 'confidence': 0.99, 'language': ''}

2.4 检测日文

import chardet
data = '真実はいつもひとつ'.encode('euc-jp')
print(chardet.detect(data))# 运行结果
{'encoding': 'EUC-JP', 'confidence': 1.0, 'language': 'Japanese'}

可见，用chardet检测编码，非常简单。获取到编码后，再转换为str，就可以方便后续处理。

python第三方库-字符串编码工具 chardet 的使用（python3经典编程案例）相关推荐

写出高效率python的90个方法，附案例（python3经典编程案例）
Effective Python摘录. 一. 培养Pythonic思维 1. 查询自己使用的python版本 import sys print(sys.version_info) print(sys. ...
在python终端中打印颜色的3中方式（python3经典编程案例）
在 Python 中有几种方法可以将彩色文本输出到终端. 最常见的做法是: 1.使用内置模块:colorama 模块可以使用 Colorama 的 ANSI 转义序列的常量简写来完成彩色文本的跨平台 ...
Python_note8 程序设计方法学+Python第三方库安装+os库
实例13 体育竞技分析自顶向下,解决复杂问题的有效方法,将一个小问题表达为若干小问题组成的形式,使用同样方法进一步解决小问题直至可以用计算机简单解决:自底向上理解自顶向下的设计思维:分而治之:理解 ...
第 11 章 Python 第三方库纵览
整理的文章内容主要来源为高教版<计算机等级考试二级 Python>教程视频讲义,并且更正了原讲义中的错误的地方. 专栏文章索引如下: 考试大纲第 1 章程序设计基本方法第 2 章 P ...
用于安装python第三方库的工具是_Python第三方库安装
Python有一个全球社区:在这里,我们可以搜索Python第三方库的任何话题.PyPI的全称是Python包指数指Python包的指数.它是由PSF (Python软件基金会)和显示全球Python ...
python3.4学习笔记(八) Python第三方库安装与使用，包管理工具解惑
python3.4学习笔记(八) Python第三方库安装与使用,包管理工具解惑许多人在安装Python第三方库的时候, 经常会为一个问题困扰:到底应该下载什么格式的文件? 当我们点开下载页时, 一 ...
python3第三方库手册_python3.4学习笔记(八) Python第三方库安装与使用，包管理工具解惑...
python3.4学习笔记(八) Python第三方库安装与使用,包管理工具解惑许多人在安装Python第三方库的时候, 经常会为一个问题困扰:到底应该下载什么格式的文件? 当我们点开下载页时, 一 ...
Python第三方库资源
[转载]Python第三方库资源转自:https://weibo.com/ttarticle/p/show?id=2309404129469920071093 参考:https://github.c ...
以下用于数据存储领域的python第三方库是-Python 二级选择题
88.下面代码的输出结果是 ( A ) print(round(0.1 + 0.2,1) == 0.3) A: True B: 0 C: 1 D: False 解释: round 是一个四舍五入的函数 ...