有了这篇文章, Python 中的编码不再是噩梦
有了这篇文章, Python 中的编码不再是噩梦
Python 中编码问题,一直是很多 Python 开发者的噩梦,尽管你是工作多年的 Python 开发者,也肯定会经常遇到令人神烦的编码问题,好不容易花了半天搞明白了。
一段时间后,又全都忘光光了,一脸懵逼的你又开始你找各种博客、帖子,从头搞清楚什么是编码?什么是 unicode?它和 ASCII 有什么区别?为什么 decode encode 老是报错?python2 里和 python3 的字符串类型怎么都不一样,怎么对应起来?如何检测编码格式?
反反复复,这个过程真是太痛苦了。
今天我把大家在 Python 上会遇到的一些编码问题都讲清楚了,以后你可以不用再 Google,收藏这篇文章就行。
1. Python 3 中 str 与 bytes
在 Python3中,字符串有两种类型 ,str 和 bytes。
今天就来说一说这二者的区别:
unicode string(str 类型)
:以 Unicode code points 形式存储,人类认识的形式byte string(bytes 类型)
:以 byte 形式存储,机器认识的形式
在 Python 3 中你定义的所有字符串,都是 unicode string类型,使用 type
和 isinstance
可以判别
# python3>>> str_obj = "你好"
>>>
>>> type(str_obj)
<class 'str'>
>>>
>>> isinstance("你好", str)
True
>>>
>>> isinstance("你好", bytes)
False
>>>
复制代码
而 bytes 是一个二进制序列对象,你只要你在定义字符串时前面加一个 b
,就表示你要定义一个 bytes 类型的字符串对象。
# python3
>>> byte_obj = b"Hello World!"
>>> type(byte_obj)
<class 'bytes'>
>>>
>>> isinstance(byte_obj, str)
False
>>>
>>> isinstance(byte_obj, bytes)
True
>>>
复制代码
但是在定义中文字符串时,你就不能直接在前面加 b
了,而应该使用 encode
转一下。
>>> byte_obj=b"你好"File "<stdin>", line 1
SyntaxError: bytes can only contain ASCII literal characters.
>>>
>>> str_obj="你好"
>>>
>>> str_obj.encode("utf-8")
b'\xe4\xbd\xa0\xe5\xa5\xbd'
>>>
复制代码
2. Python 2 中 str 与 unicode
而在 Python2 中,字符串的类型又与 Python3 不一样,需要仔细区分。
在 Python2 里,字符串也只有两种类型,unicode 和 str 。
只有 unicode object 和 非unicode object(其实应该叫 str object) 的区别:
unicode string(unicode类型)
:以 Unicode code points 形式存储,人类认识的形式byte string(str 类型)
:以 byte 形式存储,机器认识的形式
当我们直接使用双引号或单引号包含字符的方式来定义字符串时,就是 str 字符串对象,比如这样
# python2>>> str_obj="你好"
>>>
>>> type(str_obj)
<type 'str'>
>>>
>>> str_obj
'\xe4\xbd\xa0\xe5\xa5\xbd'
>>>
>>> isinstance(str_obj, bytes)
True
>>> isinstance(str_obj, str)
True
>>> isinstance(str_obj, unicode)
False
>>>
>>> str is bytes
True
复制代码
而当我们在双引号或单引号前面加个 u
,就表明我们定义的是 unicode 字符串对象,比如这样
# python2>>> unicode_obj = u"你好"
>>>
>>> unicode_obj
u'\u4f60\u597d'
>>>
>>> type(unicode_obj)
<type 'unicode'>
>>>
>>> isinstance(unicode_obj, bytes)
False
>>> isinstance(unicode_obj, str)
False
>>>
>>> isinstance(unicode_obj, unicode)
True
复制代码
3. 如何检测对象的编码(免费领取Python自动化学习资料 工具,面试宝典面试技巧,加QQ群,785128166,群内还会大佬技术交流)
所有的字符,在 unicode 字符集中都有对应的编码值(英文叫做:code point
)
而把这些编码值按照一定的规则保存成二进制字节码,就是我们说的编码方式,常见的有:UTF-8,GB2312 等。
也就是说,当我们要将内存中的字符串持久化到硬盘中的时候,都要指定编码方法,而反过来,读取的时候,也要指定正确的编码方法(这个过程叫解码),不然会出现乱码。
那问题就来了,当我们知道了其对应的编码方法,我们就可以正常解码,但并不是所有时候我们都能知道应该用什么编码方式去解码?
这时候就要介绍到一个 python 的库 -- chardet
,使用它之前 需要先安装
python3 -m pip install chardet
复制代码
chardet 有一个 detect 方法,可以 预测
其其编码格式
>>> import chardet
>>> chardet.detect('微信公众号:Python编程时光'.encode('gbk'))
{'encoding': 'GB2312', 'confidence': 0.99, 'language': 'Chinese'}
复制代码
为什么说是预测呢,通过上面的输出来看,你会看到有一个 confidence 字段,其表示预测的可信度,或者说成功率。
但是使用它时,若你的字符数较少,就有可能 “误诊
”),比如只有 中文
两个字,就像下面这样,我们是 使用 gbk 编码的,使用 chardet 却识别成 KOI8-R 编码。
>>> str_obj = "中文"
>>> byte_obj = bytes(a, encoding='gbk') # 先得到一个 gbk 编码的 bytes
>>>
>>> chardet.detect(byte_obj)
{'encoding': 'KOI8-R', 'confidence': 0.682639754276994, 'language': 'Russian'}
>>>
>>> str_obj2 = str(byte_obj, encoding='KOI8-R')
>>> str_obj2
'жпнд'
复制代码
所以为了编码诊断的准确,要尽量使用足够多的字符。
chardet 支持多国的语言,从官方文档中可以看到支持如下这些语言(chardet.readthedocs.io/en/latest/s…)
4. 编码与解码的区别
编码和解码,其实就是 str 与 bytes 的相互转化的过程(Python 2 已经远去,这里以及后面都只用 Python 3 举例)
编码:encode 方法,把字符串对象转化为二进制字节序列
解码:decode 方法,把二进制字节序列转化为字符串对象
那么假如我们真知道了其编码格式,如何来转成 unicode 呢?
有两种方法
第一种是,直接使用 decode 方法
>>> byte_obj.decode('gbk')
'中文'
>>>
复制代码
第二种是,使用 str 类来转
>>> str_obj = str(byte_obj, encoding='gbk')
>>> str_obj
'中文'
>>>
复制代码
5. 如何设置文件编码
在 Python 2 中,默认使用的是 ASCII 编码来读取的,因此,我们在使用 Python 2 的时候,如果你的 python 文件里有中文,运行是会报错的。
SyntaxError: Non-ASCII character '\xe4' in file demo.py
复制代码
原因就是 ASCII 编码表太小,无法解释中文。
而在 Python 3 中,默认使用的是 uft-8 来读取,所以省了不少的事。
对于这个问题,通常解决方法有两种:
第一种方法
在 python2 中,可以使用在头部指定
可以这样写,虽然很好看
# -*- coding: utf-8 -*-
复制代码
但这样写太麻烦了,我通常使用下面两种写法
# coding:utf-8
# coding=utf-8
复制代码
第二种方法
import sys reload(sys)
sys.setdefaultencoding('utf-8')
复制代码
这里在调用sys.setdefaultencoding(‘utf-8’) 设置默认的解码方式之前,执行了reload(sys),这是必须的,因为python在加载完sys之后,会删除 sys.setdefaultencoding 这个方法,我们需要重新载入sys,才能调用 sys.setdefaultencoding 这个方法。
有了这篇文章, Python 中的编码不再是噩梦相关推荐
- python对excel某一列去重-「总结篇」Python中所有的Excel操作技巧
原标题:「总结篇」Python中所有的Excel操作技巧 Python对于Excel的操作是多种多样的,掌握了相关用法就可以随心所欲的操作数据了! 操作xls文件 xlrd(读操作): import ...
- Python学习篇(五) Python中的循环
文章目录 前言 一.range函数 二.while循环 2.1四步循环法 三.for in 循环 四.流程控制语句 4.1 break 4.2 continue 五.else语句 六.嵌套循环 七.二 ...
- python open 相对路径_第十四篇:Python中文件读写
修修心养养性 处世不必邀功,无过便是功:与人不求感德,无怨便是德. 大纲 打开和关闭文件 读文件(文本文件和二进制文件) 写文件(文本文件和二进制文件) 打开和关闭文件 1.1打开文件 我们使用文件之 ...
- python filter函数_第九篇:Python中lambda、filter和map函数
修修心养养性 世无常贵,事无常师,靠人不如靠己. 大纲 函数类型定义及特性 lambda函数定义及使用 filter函数定义及使用 map函数定义及使用 引入函数类型概念 函数类型定义:python中 ...
- 编码以及Python中的编码
编码 不管是哪种语言,在学习的时候,只要涉及到中文,多多少少都会遇到一些编码问题.然而,说实话,作为一个英语水平没有那么专业的中国人,中文是必不可少的.所以,了解编码以及解码就变得非常重要.下面是从各 ...
- python安全编码问题_浅谈Python中的编码问题
对于Python的初学者来说,编码问题相当令人头疼.本文就根据我在学习过程中遇到的问题简单谈一下Python中的编码.首先简单介绍一下几种常见的编码. 一.几种常见的字符编码 ASCII码 ASCII ...
- 浅谈Python中的编码规则
注:本人用Python3.4作为学习版本,以下学习心得只适用于Python3.4. 之前拜读了金角大王Alex关于编码的解答,收获颇多.特此致谢,以下仅谈一谈作为一个初学者,对编码的理解. 我所了解的 ...
- python编码解码单词_在使用w2v时python中的编码问题
我正在使用word2vec模型在python中编写我的第一个应用程序. 这里是我的简单的代码在使用w2v时python中的编码问题 import gensim, logging import sys ...
- python中的编码问题
Python 中的编码问题 在python中遇到编码问题主要来自于ASCII和gbk两个方面.win中python为unicode 编码而控制台一般为gbk编码 ASCII 对于ASCII来说,是由于 ...
最新文章
- NVIDIA GPU卷积网络的自动调谐
- java取网页数据_浅析JAVA实现网页取内容
- goland 创建工程(go mod)singo
- Hadoop MapReduce程序的模板框架
- Objective-C 的动态提示和技巧
- 兄弟连 企业shell笔试题 16-31
- php ab压力测试,安装Xcache缓存加速php及ab压力测试结果
- 6_less中的匹配模式
- matlab jar包,Matlab 將m文件打包成jar包 (二)使用jar包
- B00015 平方矩阵问题
- python单元测试框架作用_Python单元测试框架:Pytest简介
- 【持续更新】实用算法小点总结(怕忘QAQ)
- Gson解析JSON数据的两种方法
- GEOTRANS 3.7 用户使用手册 之 坐标参考框架
- NOIP 2015 推销员
- Windows7 换XP 字体 (QQ字体,桌面字体) 为宋体
- 海思Hi3516dv300屏幕调试MIPI TX接口LCD屏幕(京东方JD9366)
- 实验详解OSPF的几类LSA、FA转发规则(思科设备)
- Microsoft SQL Server数据库
- springboot启动失败之A child container failed during start
热门文章
- JavaScript基础 - 字符串倒序输出
- 使用cygwin X server实现Linux远程桌面 (for windows)
- c3-31 case13简单算术计算器
- c语言strlen()和sizeof()的区别
- p2p打洞源码,p2p内网穿透源码,NAT内网穿透源码,NAT穿透源码
- Java - Generics are not real generics
- 小红书矩阵营销是什么?多账号如何管理?浅谈小红书矩阵玩法
- ChatGPT竟有9岁小孩心智?斯坦福教授逆天发现,AI统治人类还远吗
- 从新手小白到氪金大佬的“建站指南”
- 创建线程的几种方式?JSP的九大内置对象及作用分别是什么?servlet的生命周期及常用方法?转发和重定向区别?ajax书写方式及内部主要参数都有哪些