python编码解码的过程_使用Python过程中的编码和解码
编码和解码的问题纠结了我很久了,对他一直只有是是而非的理解,好像是那么回事,但是又不懂,今天终于来认真解决一下这个问题,总结一下大神们的回答,做一下笔记。
首先,我们知道,计算机中的所有数据都以二进制存在,二进制的一位有两种不同的状态0和1。一个字节(Byte)由8位二进制数组成,可以用来表示256种不同的状态。将二进制序列与字符一一对应的过程就叫做编码规则。
一、ASCII 码
世界上最著名的编码规则是上世纪60年代美国制定的ASCII 码,它将英语字符与二进制位之间的关系做了统一规定。ASCII 码规定一个字节的最高位总是0,用剩余的7位来表示英语中需要的128个字符(包括不能打出来的32个控制位),比如空格SPACE是32(二进制00100000)。
二、非ASCII编码
英语用128个符号编码就够了,但是用来表示其他语言,128个符号是不够的。
比如,在法语中,字母上方有注音符号,它就无法用 ASCII 码表示。于是,一些欧洲国家就决定,利用字节中闲置的最高位编入新的符号。比如,法语中的é的编码为130(二进制10000010)。这样一来,这些欧洲国家使用的编码体系,可以表示最多256个符号。
但是,这里又出现了新的问题。不同的国家有不同的字母,因此,哪怕它们都使用256个符号的编码方式,代表的字母却不一样。比如,130在法语编码中代表了é,在希伯来语编码中却代表了字母Gimel (ג),在俄语编码中又会代表另一个符号。但是不管怎样,所有这些编码方式中,0--127表示的符号是一样的,不一样的只是128--255的这一段。
至于亚洲国家的文字,使用的符号就更多了,汉字就多达10万左右。一个字节只能表示256种符号,肯定是不够的,就必须使用多个字节表达一个符号。
世界上存在着这么多种类的编码方式,同一个二进制数字可以被解释成不同的符号。因此,要想打开一个文本文件,就必须知道它的编码方式,否则用错误的编码方式解读,就会出现乱码。
如果有一种编码,将世界上所有的符号都纳入其中。每一个符号都给予一个独一无二的编码,就能够解决文件乱码的问题,Unicode应运而生。
三、Unicode和UTF-8
准确的说,Unicode不是一种编码,而是一个字符集。在Unicode字符集的基础上产生的UTF-8、UTF-16和UTF-32才是真正的编码规则。
Unicode字符集
Unicode 当然是一个很大的集合,现在的规模可以容纳100多万个符号。每个符号的编码都不一样,U+0041表示英语的大写字母A,U+4E25表示汉字严。
比如,汉字严的 Unicode 是十六进制数4E25,转换成二进制数足足有15位(100111000100101),也就是说,这个符号的表示至少需要2个字节。表示其他更大的符号,可能需要3个字节或者4个字节,甚至更多。
这里就有两个严重的问题,第一个问题是,如何才能区别 Unicode 和 ASCII ?计算机怎么知道三个字节表示一个符号,而不是分别表示三个符号呢?第二个问题是,我们已经知道,英文字母只用一个字节表示就够了,如果 Unicode 统一规定,每个符号用三个或四个字节表示,那么每个英文字母前都必然有二到三个字节是0,这对于存储来说是极大的浪费,文本文件的大小会因此大出二三倍,这是无法接受的。
它们造成的结果是:
出现了 对应Unicode 字符集的多种编码方式,比如UTF-8、UTF-16和UTF-32。
Unicode 在很长一段时间内无法推广,直到互联网的出现。
UTF-8
互联网的普及,强烈要求出现一种统一的编码方式。UTF-8 就是在互联网上使用最广的一种 Unicode 的实现方式。
UTF-8 最大的一个特点,就是它是一种变长的编码方式。它可以使用1~4个字节表示一个符号,根据不同的符号而变化字节长度。
UTF-8 的编码规则很简单,只有二条:
1)对于单字节的符号,字节的第一位设为0,后面7位为这个符号的 Unicode 码。因此对于英语字母,UTF-8 编码和 ASCII 码是相同的。
2)对于n字节的符号(n > 1),第一个字节的前n位都设为1,第n + 1位设为0,后面字节的前两位一律设为10。剩下的没有提及的二进制位,全部为这个符号的 Unicode 码。
下表总结了编码规则,字母x表示可用编码的位。
Unicode码位(16进制)对应的UTF-8编码方式
跟据上表,解读 UTF-8 编码非常简单。如果一个字节的第一位是0,则这个字节单独就是一个字符;如果第一位是1,则连续有多少个1,就表示当前字符占用多少个字节。
可以看到,UTF-8是兼容了ASCII码的一种编码方式。
四、Python中的编解码
编码(encode()):将字符转化为计算机能够理解,能够存储在内存或文件中的二进制数据。
如在Python中输入以下代码:
str = "简书"
print(str)
print(type(str))
print(str.encode())
print(type(str.encode()))
输出:
简书
b'\xe7\xae\x80\xe4\xb9\xa6'
此过程就是将str类型的数据转换为了二进制,为了方便显示,通过16进制输出了编码后的结果。可以看到每个汉字用了六个16进制数字来表示,对应着三位Byte,三位比特就能表示最多16,777,216个字符了,能够表示完所有汉字。
python3.6在不指定的情况下,执行编码方式默认使用utf-8编码,因此在print()打印汉字时,不需要再指定encoding = 'utf-8',但在之前的版本需要指定。
注意:python中经常需要在方法(或函数)中传输参数(encoding='utf-8')这不一定是在对数据进行编码,这一点要理解,不然会感觉很矛盾。这个参数是在告诉方法传入数据的编码方式为UTF-8(或其他方式),方法才能对数据进行正确的解码。
另一个使用encoding较多的方法是open,如下所示:
with open('text.txt','w') as file:
file.write('简书')
由于txt文件对中文的默认编码方式是GBK,Python使用默认编码方式'UTF-8'打开后就是����这样的乱码,同时报错:
File was loaded in the wrong encoding: 'UTF-8'
这时候通过指定编码方式就能解决,通过'utf-8'方式打开并写入文件:
with open('text.txt','w',encoding='utf-8') as file:
file.write('简书')
解码(decode()):将二进制数据转化为能够阅读的字符的过程。
这个比较简单,如上节通常是指定encoding='utf-8'
python编码解码的过程_使用Python过程中的编码和解码相关推荐
- python的执行过程_在交互式环境中执行Python程序过程详解
前言 相信接触过Python的伙伴们都知道运行Python脚本程序的方式有多种,目前主要的方式有:交互式环境运行.命令行窗口运行.开发工具上运行等,其中在不同的操作平台上还互不相同.今天,小编讲些Py ...
- python解析pdf中文乱码_解析PDF文件以及解决编码问题
1.解析pdf文件 最近需要将pdf中文本提取出来,于是就了解了一下pdfminer 首先安装:pip3 install pdfminer3k 之后就是用pdfminer解析,不多说,直接上代码,这些 ...
- python用gbk编码自己的名字_基于python的汉字转GBK码
说明: 今天想用python调用百度框计算的搜过结果,看到了URL里面的汉字用GBK编码,虽然可以直接在URL里面加入中文,之前也做过一个简体字转GBK码的python函数,但还是略嫌麻烦,今天改了一 ...
- python数据库更新消息提醒_用Python实现校园通知更新提醒功能
前言 这个项目实已经在一个月前已经完成了,一直都想写一篇博客来总结这个过程中遇到的一些问题.但最近一个月来都比较忙,所以一直拖到了现在. 首先说说起因吧,我没事的时候,总喜欢依次点开学校主页.教务处. ...
- python做审计底稿视频_最新Python教学视频,每天自学俩小时,让你offer拿到手软...
2020最新Python零基础到精通资料教材,干货分享,新基础Python教材,看这里,这里有你想要的所有资源哦,最强笔记,教你怎么入门提升!让你对自己更加有信心,重点是资料都是免费的,免费!!! 如 ...
- python程序运行结果不停_关于python:在进程运行时不断打印Subprocess输出
要从我的python脚本启动程序,我使用以下方法: def execute(command): process = subprocess.Popen(command, shell=True, stdo ...
- python软件安装及设置_入门Python——1.软件安装与基础语法
周末在家闲来无事,学了下Python.怕看过一遍就忘了,这里mark下. 一.Python的应用场景 1.网站开发 2.人工智能 机器学习 3.数据科学(如爬虫) 4.其它(绘图.图像处理) 二.软件 ...
- python四大高阶函数_详谈Python高阶函数与函数装饰器(推荐)
一.上节回顾 Python2与Python3字符编码问题,不管你是初学者还是已经对Python的项目了如指掌了,都会犯一些编码上面的错误.我在这里简单归纳Python3和Python2各自的区别. 首 ...
- python数据科学实践指南_《Python数据科学实践指南》——导读-阿里云开发者社区...
前 言 为什么要写这本书 我接触大数据技术的时间算是比较早的,四五年前当大数据这个词火遍互联网的时候,我就已经在实验室里学习编程及算法的知识.那个时候我一心想要做学术,每天阅读大量的英文文献,主要兴趣 ...
- list python 访问 键值对_基础|Python常用知识点汇总(中)
字符串字符串是 Python 中最常用的数据类型.我们可以使用引号('或")来创建字符串.1.创建字符串 str1 = 'Hello World!' str2 = "Hello W ...
最新文章
- iOS 修改网络图片的大小 宽和高
- 【轉】Android编程之SparseArrayE详解
- LINUX中断学习笔记【转】
- P3402-[模板]可持久化并查集【主席树】
- python不同版本共存_多版本Python共存的配置方法
- css复选框样式_使用CSS样式复选框
- java初始化虚拟机错误_VM初始化期间发生错误;无法为对象堆保留足够的空间;无法创建Java虚拟机...
- 值传递与引用传递 c# 1613535799
- 收藏 | 卷积神经网络中十大拍案叫绝的操作
- JAVA8新特性Optional和Stream和Localdate用法
- 【英语学习】【Daily English】U11 Work L02 Just be honest
- 经典浪漫的爱情英语妙语
- Java 容器源码分析之 TreeMap
- 统计·数值分析·概率论·人工智能数学基础
- 【数据挖掘】数据挖掘概述
- tomorrow - 明天
- flash设置屏保 html,全面淘汰 Flash 带崩经典屏保软件:教你一招搞定它
- 一种Android输入框待输入字符去除文本监听回调的方案思路
- getActivePinia was called with no active Pinia.
- java JScrollPane设置大小宽高
热门文章
- 【Python教程】七种创建对象的方式,你知道几种?
- python读文件的三个方法read()、readline()、readlines()详解
- Python骚操作:动态定义函数
- python常用的日期时间模块
- Django基于正则表达式的URL
- mysql数据太大,如何导入_MySQL导入文件过大怎么办
- 为什么线粒体DNA突变率高?
- python PyQt5.QtWidgets.QApplication().exec_()函数 QCoreApplication.exec_()(进入主事件循环并等待直到调用exit()为止)
- 安卓系统辅助功能中的指针停止移动后点击是什么?OTG
- python graphviz工具的使用