python 学习汇总41：unicode（ tcy）

Unicode 2018/7/1

1.字符一般字符：'a';'严';
特殊字符：
编辑器中不能直接输入，在字符串文字中使用转义序列
\u转义序列编写特定的Unicode代码点'\u0394' # 'Δ' 16-bit hex value
"\U00000394 # 'Δ' 32-bit hex value
"\N{GREEK CAPITAL LETTER DELTA}" # 希腊大写字母Delta ：'Δ'
répertoire = "trouvé" #可将Unicode字符包含在字符串文字，标识符中。

2.Unicode
2.1. 字符集:
只是一个“字符集”，它给每一个处于此字符集中的字符给予了一个编号。
Unicode 标准描述了如何用 代码点 表示字符。代码点是一个整数值通常用16 进制表示。
Unicode标准包含很多列出字符及其相应代码点的表格:0061 'a'; LATIN SMALL LETTER A
0062 'b'; LATIN SMALL LETTER B
0063 'c'; LATIN SMALL LETTER C
...
007B '{'; LEFT CURLY BRACKET一个Unicode字符串是一系列代码点，从0到0x10FFFF的数字。
该序列需要表示为内存中的一组字节（意思是从0到255的值）。
将Unicode字符串转换为字节序列的规则称为编码。

        ord('a')                                            # 97hex(ord("严"))= '0x4e25'                #"严"unicode代码点=4E25ord('\u0394')   #等价于：ord('Δ')    #返回代码点值：=916逆转换：chr(916)        #等价于：chr(0x394) #10进制的916=16进制的394 #返回单字符'Δ'chr(97)          #等价于：chr(0x61)   #10进制的97=16进制的61     #返回单字符'a'

   2.2.编码方案 utf-8指定字符以什么字节序存储和传输将Unicode字符串转换为字节序列的规则称为编码。编码一定，字节序一定，存储结果是肯定要落实到字节（Bytes）上来的。

     编码:'a'.encode('utf-8')         # b'a' 返回Unicode字符串的bytes"严".encode()              #b'\xe4\xb8\xa5''Δ'.encode('utf-8')        # b'\xce\x94'解码:b'a'.decode()                      # 'a'b'\xe4\xb8\xa5'.decode()  #"严"b'\xce\x94'.decode()         # 'Δ'

3.指定代码编码：代码前2行
# -*- coding: <encoding name> -*-
获取系统编码：
import sys
sys.getfilesystemencoding()# 'utf-8

4.实例:

实例1.-编码str.encode()
str.encode            返回Unicode字符串的bytes参数：strictignorereplace                  插入问号xmlcharrefreplace  插入XML字符引用backslashreplace   插入\uNNNN转义序列namereplace          插入\N实例：u = chr(40960) + 'abcd' + chr(1972)u.encode('utf-8')                                     # b'\xea\x80\x80abcd\xde\xb4'u.encode('ascii')                                     #错误u.encode('ascii', 'ignore')                      # b'abcd'u.encode('ascii', 'replace')                    # b'?abcd?'u.encode('ascii', 'xmlcharrefreplace') # b'ꀀabcd޴'u.encode('ascii', 'backslashreplace')  # b'\\ua000abcd\\u07b4'u.encode('ascii', 'namereplace')          # b'\\N{YI SYLLABLE IT}abcd\\u07b4'

实例2.-解码bytes.decode()b'\x80abc'.decode("utf-8", "strict")                      #错误b'\x80abc'.decode("utf-8", "replace")                  # '\ufffdabc'b'\x80abc'.decode("utf-8", "backslashreplace") # '\\x80abc'b'\x80abc'.decode("utf-8", "ignore")                    #'abc'

实例3-ord(),chr()：ord() #接受一个字符的Unicode字符串并返回代码点值以一个字符（长1字符串8位）作为参数，返回对应的 ASCII值或Unicode值如给Unicode字符超出范围引发TypeErrorchr()#用一字节整数作参数返回对应字符。创建单字符Unicode字符串，该函数使用整数并返回包含相应代码点的长度为1的Unicode字符串。chr(57344)   # '\ue000'ord('\ue000')# 57344

5.备注：
5.1.Unicode属性
字符信息包括字符的名称，类别，数值
# 显示一些关于几个字符的信息，并打印一个特定字符的数字值：
import unicodedatau = chr(233) + chr(0x0bf2) + chr(3972) + chr(6000) + chr(13231)
for i, c in enumerate(u):
print(i, '代码点=%04x ；代码=' % ord(c), unicodedata.category(c), end=" ")#类别代码：是描述角色性质的缩写。
print('; 名称=',unicodedata.name(c))
# Get numeric value of second character
print(unicodedata.numeric(u[1]))#1000.0# 0 代码点=00e9 ;代码= Ll ; 名称= LATIN SMALL LETTER E WITH ACUTE# 'Ll'意思是“Letter，小写”
# 1 代码点=0bf2 ;代码= No ; 名称= TAMIL NUMBER ONE THOUSAND# 'No'意思是“Number，other”
# 2 代码点=0f84 ;代码= Mn ; 名称= TIBETAN MARK HALANTA# 'Mn'是“Mark，nonspacing”
# 3 代码点=1770 ;代码= Lo ; 名称= TAGBANWA LETTER SA
# 4 代码点=33af ;代码= So ; 名称= SQUARE RAD OVER S SQUARED# 'So'是“Symbol，other”===================================================================
5.2.Unicode正则表达式
re模块支持的正则表达式可以以字节或字符串的形式提供。\d将匹配[0-9]字节中的字符，但字符串中的字符将匹配该'Nd'类别中的任何字符
\w匹配各种各样的Unicode字符，但只能[a-zA-Z0-9_]以字节或如果re.ASCII提供
\s并将匹配Unicode空白字符或 。[ \t\n\r\f\v]import re
p = re.compile(r'\d+')
s = "Over \u0e55\u0e57 57 flavours"
m = p.search(s)
print(repr(m.group()))
===================================================================
5.3.读写Unicode数据
open('unicode.txt', encoding='utf-8')
Unicode字符U+FEFF用作字节顺序标记（BOM），通常写为文件的第一个字符，以帮助自动检测文件的字节排序。Unicode文件名
filename = 'filename\u4500abc'
open(filename, 'w')

            os模块中的函数os.stat()也将接受Unicode文件名。该os.listdir()函数返回文件名# utf-8 返回Unicode版本的文件名，返回包含编码版本的字节。fn = 'filename\u4500abc'f = open(fn, 'w')f.close()import osprint(os.listdir(b'.'))print(os.listdir('.'))#输出：amk:~$ python t.py[b'filename\xe4\x94\x80abc', ...]#包含UTF-8编码的文件名['filename\u4500abc', ...]            #第二个列表包含Unicode版本注意在大多数情况下，应使用Unicode API。字节API只能用于不可解码文件名的系统，例如Unix系统。
====================================================================
5.4.编写支持Unicode的程序的技巧在文件编码之间转换StreamRecoder类可以在编码之间透明转换# 例如输入文件f是Latin-1，返回以UTF-8编码字节：new_f = codecs.StreamRecoder(f,# en/decoder: used by read() to encode its results and by write() to decode its input.codecs.getencoder('utf-8'), codecs.getdecoder('utf-8'),# reader/writer: used to read and write to the stream.codecs.getreader('latin-1'), codecs.getwriter('latin-1') )未知编码中的文件对文件进行更改不知道文件编码，知道编码与ASCII兼容，并只想检查或修改ASCII部分，用surrogateescape错误处理程序打开该文件：with open(fname, 'r', encoding="ascii", errors="surrogateescape") as f:data = f.read()# make changes to the string 'data'with open(fname + '.new', 'w',encoding="ascii", errors="surrogateescape") as f:f.write(data)surrogateescape错误处理程序将所有非ASCII字节解码为Unicode的专用使用区域范围从U + DC80到U + DCFF代码点。surrogateescape当编码数据并将其写回时使用错误处理程序时，这些私有代码点将被重新转换为相同的字节。

python 学习汇总41：unicode（ tcy）相关推荐

python 学习汇总46：inspect 模块简介（入门基础 tcy）
inspect 模块 2018/11/17 inspect模块主要提供了四种用处:1.对是否是模块.框架.函数进行类型检查2.获取源码3.获取类或者函数的参数信息4.解析堆栈一.type and m ...
python 学习汇总1：文件读写 tcy
文件读写 2018/11/12 =============================================================================== 1.1文 ...
python 学习汇总29：各种推导式（ tcy）
python的各种推导式(轻量级循环) 2018 / 6 / 16 1.推导式用途: 推导式是从一个数据序列构建一个新的数据序列的结构体,类似于for 循环列表/字典/集合推导式优于 map/fil ...
Python学习汇总，做数据采集的一些小技巧，收获满满
学习Python也有一段时间了,在学习过程中不断的练习学到的各类知识,做的最多的还是爬虫,也就是简单的数据采集,有采集图片(这个最多了...),有下载电影的,也有学习相关的比如ppt模板的抓取,当然也 ...
pandas 学习汇总17 - 计算( tcy)
1.算数计算 2018/11/8 2018/12/10 1.1函数: Series.product([axis, skipna, level, -]) # 返回请求轴的值的乘积:各个元素相乘 Seri ...
一份超全的Python学习资料汇总
一.学习Python必备技能图谱二.0基础如何系统学习Python? 一.Python的普及入门 1.1 Python入门学习须知和书本配套学习建议 1.2 Python简史 1.3 Python的 ...
python学习——相关软件汇总
python学习--相关软件汇总 Part 1:准备工作安装所需软件. 文本编辑器 VScode.pycharm 工具包 anaconda 交互式运行 python3.x 一.需要安装: 1.文本编 ...
python自学书籍顺序-2018最全各阶段Python学习书籍汇总！
加QQ群:838197940免费领取! [Python参考书籍] 入门读物 1.<Python基础教程>(Beginning Python From Novice to Professio ...
优秀Python学习资源收集汇总（强烈推荐）
Python是一种面向对象.直译式计算机程序设计语言.它的语法简捷和清晰,尽量使用无异义的英语单词,与其它大多数程序设计语言使用大括号不一样,它使用縮进来定义语句块.与Scheme.Ruby.Perl ...

python 学习汇总41：unicode（ tcy）

python 学习汇总41：unicode（ tcy）相关推荐

最新文章

热门文章