Unicode字符集和编码方式

通常将一个标准中能够表示的所有字符的集合称为字符集，比如ISO/Unicode所定义的字符集为Unicode。在Unicode中,每个字符占据一个码位/Unicode 编号(用4位十六进制数表示，Code point：U+ FFFF)，如U+ 0000为“Null”，U+ 597D="好"。Unicode字符集共定义了1 114 112个这样的位，使用从0到10FFFF的十六进制数唯一地表示世界上几乎所有的字符。

NCR(Numeric Character Reference），以「&#」开头的后接十进制数字，以「&#x」开头的后接十六进制数字。数字取值为目标字符的 Unicode code point。U+002C === ,

虽然字符集中的码位唯一，但由于计算机存储数据通常是以字节为单位的，而且出于兼容之前的ASCII(0x00-0x7F)、节省存储空间等诸多原因，需要一种具体的编码方式来对字符码位进行标识。规定每个字符的Unicode编号如何存储（用一个字节还是多个字节存储，用哪些字节来存储），这个规定就叫做“编码”。常见的基于Unicode字符集的编码方式有UTF-8、UTF-16及UTF-32。

字符集中的字符与Unicode 编号一一映射，对Unicode编号进行编码转为二进制存入内存。同一段二进制，每一个字节一个编号还是每两个字节一个编号，解码方式不一样，得到的编号不一样，对应的映射字符也不同。这就是乱码的原因。

编码方式：

UTF-8是一种变长的编码方式，采用了高位保留方式来区别不同变长。它使用1~4个字节表示一个符号，根据不同的符号而变化字节长度。越是常用的字符，字节越短，最前面的128个字符，只使用1个字节表示，与ASCII码完全相同。

UTF-8的编码规则：

1）对于单字节的符号，字节的第一位设为0，后面7位为这个符号的unicode码。因此对于英语字母，UTF-8编码和ASCII码是相同的。

2）对于N字节的符号，第一个字节的前N位都设为1，第N+1位为0，后面字节的前两位一律设为10。剩下的二进制位，全部为这个符号的unicode码。

如果一个字节的第一位是0，则这个字节单独就是一个字符；如果第一位是1，则连续有多少个1，就表示当前字符占用多少个字节。

由于UTF-8这种节省空间的特性，导致它成为互联网上最常见的网页编码。

比如中文'严'字，二进制表示成：11100100 10111000 10100101

对应的Unicode code point为 0100 1110 0010 0101对应的HEX值\x4E25

Unicode字符集https://unicode-table.com/en/#control-character

转载于:https://www.cnblogs.com/kevin2chen/p/6424269.html

Unicode字符集和编码方式相关推荐

字符集和编码规范：ASCII,Unicode和UTF-8, latin1,BIG5,GBK
字符集和编码方式:ASCII,Unicode和UTF-8, latin1,BIG5,GBK 参考: 字符集字符集编码详解一. ASCII码我们知道,在计算机内部,所有的信息最终都表示为一个二进制 ...
unicode字符显示方框_【硬核】韦东山：字符的编码方式
自从上次发布"Framebuffer应用编程"视频后, 我们花了10多天调试STM32MP157板子,4.19内核.5.4内核全部调试通过! 在调试过程中,编写了不少文档,到时整理 ...
字符的编码方式 ASCII 、GBK 、UTF-8 、Unicode 、Unicode big endian
字符的编码方式很多种 ,我们常用到的是ASCII .GBK .UTF-8 .Unicode .Unicode big endian等. 想查看的话,可以用记事本新建一个txt文档,里面输入字符或汉字, ...
Ruby：字符集和编码学习总结
背景 Ruby直到1.9版本才很好的支持了多字节编码,本文简单总结了今天学习的关于Ruby编码方面的知识. 字符串可以使用不同的编码在.NET中字符串的编码是一致的,Ruby允许字符串有不同的编码, ...
你不知道的字符集和编码（编码字符集与字符集编码）
我的上篇文章,有朋友提出字符集和编码的区别,我在此立文和大家讨论下常说的字符集和编码区别,其实就是编码字符集和字符集编码的区别,其实,单单如果只是说字符集,没有任何编码的概念的话,那么字符集其实仅仅 ...
转：Unicode字符集和多字节字符集关系
原文地址: http://my.oschina.net/alphajay/blog/5691 unicode.ucs-2.ucs-4.utf-16.utf-32.utf-8 http://stallm ...
Unicode字符集和多字节字符集关系（一）
另外可参考: 谈谈Unicode编码,简要解释UCS.UTF.BMP.BOM等名词 http://blog.csdn.net/smonster/archive/2008/10/31/3194587.a ...
创建数据库，指定数据库的字符集和编码顺序
创建数据库,指定它的字符集和编码顺序 create database {数据库名称} CHARACTER SET {字符集} COLLATE {排序规则} 举例: create database co ...
面试题字符集和编码区别_您和理想工作之间的一件事-编码面试！
面试题字符集和编码区别 A recruiter calls you for a position with your dream company. You get extremely excited ...
设置MySQL排序方式_设置MySQL设置字符集和排序方式
1. 编辑/etc/my.cnf文件, 在"[client]"下添加"default-character-set=utf8" 2. 编辑/etc/my.cnf文 ...

Unicode字符集和编码方式

Unicode字符集和编码方式相关推荐

最新文章

热门文章