字符编码(ucs2 ucs4 utf)
源地址:http://blog.charlee.li/unicode-intro/
最近一直在忙点私活,又好久没写blog了,再不写点的话二月份就又要以单篇文章结束了。 前一阵子一直在研究Unicode,索性把研究结果介绍一下吧。
可能大家都听说过 Unicode、UCS-2、UTF-8 等等词汇,但它们具体是什么意思, 是什么原理,之间有什么关系,恐怕就很少有人明白了。 下面就分别介绍一下它们。
______________________________
基本知识
介绍Unicode之前,首先要讲解一些基础知识。虽然跟Unicode没有直接的关系, 但想弄明白Unicode,没这些还真不行。
字节和字符的区别
咦,字节和字符能有什么区别啊?不都是一样的吗?完全正确,但只是在古老的DOS时代。 当Unicode出现后,字节和字符就不一样了。
字节(octet)是一个八位的存储单元,取值范围一定是0~255。而字符(character,或者word) 为语言意义上的符号,范围就不一定了。例如在UCS-2中定义的字符范围为0~65535, 它的一个字符占用两个字节。
Big Endian和Little Endian
上面提到了一个字符可能占用多个字节,那么这多个字节在计算机中如何存储呢? 比如字符0xabcd,它的存储格式到底是 AB CD,还是 CD AB 呢?
实际上两者都有可能,并分别有不同的名字。如果存储为 AB CD,则称为Big Endian; 如果存储为 CD AB,则称为Little Endian。
具体来说,以下这种存储格式为Big Endian,因为值(0xabcd)的高位(0xab)存储在前面:
地址 | 值 |
0x00000000 | AB |
0x00000001 | CD |
相反,以下这种存储格式为Little Endian:
地址 | 值 |
0x00000000 | CD |
0x00000001 | AB |
UCS-2和UCS-4
Unicode是为整合全世界的所有语言文字而诞生的。任何文字在Unicode中都对应一个值,
这个值称为代码点(code point)。代码点的值通常写成 U+ABCD 的格式。 而文字和代码点之间的对应关系就是UCS-2(Universal Character Set coded in 2 octets)。 顾名思义,UCS-2是用两个字节来表示代码点,其取值范围为 U+0000~U+FFFF。
为了能表示更多的文字,人们又提出了UCS-4,即用四个字节表示代码点。 它的范围为 U+00000000~U+7FFFFFFF,其中 U+00000000~U+0000FFFF和UCS-2是一样的。
要注意,UCS-2和UCS-4只规定了代码点和文字之间的对应关系,并没有规定代码点在计算机中如何存储。 规定存储方式的称为UTF(Unicode Transformation Format),其中应用较多的就是UTF-16和UTF-8了。
UTF-16和UTF-32
UTF-16
UTF-16由RFC2781规定,它使用两个字节来表示一个代码点。
不难猜到,UTF-16是完全对应于UCS-2的,即把UCS-2规定的代码点通过Big Endian或Little Endian方式 直接保存下来。UTF-16包括三种:UTF-16,UTF-16BE(Big Endian),UTF-16LE(Little Endian)。
UTF-16BE和UTF-16LE不难理解,而UTF-16就需要通过在文件开头以名为BOM(Byte Order Mark)的字符
来表明文件是Big Endian还是Little Endian。BOM为U+FEFF这个字符。
其实BOM是个小聪明的想法。由于UCS-2没有定义U+FFFE, 因此只要出现 FF FE 或者 FE FF 这样的字节序列,就可以认为它是U+FEFF, 并且可以判断出是Big Endian还是Little Endian。
举个例子。“ABC”这三个字符用各种方式编码后的结果如下:
UTF-16BE | 00 41 00 42 00 43 |
UTF-16LE | 41 00 42 00 43 00 |
UTF-16(Big Endian) | FE FF 00 41 00 42 00 43 |
UTF-16(Little Endian) | FF FE 41 00 42 00 43 00 |
UTF-16(不带BOM) | 00 41 00 42 00 43 |
Windows平台下默认的Unicode编码为Little Endian的UTF-16(即上述的 FF FE 41 00 42 00 43 00)。
你可以打开记事本,写上ABC,然后保存,再用二进制编辑器看看它的编码结果。
另外,UTF-16还能表示一部分的UCS-4代码点——U+10000~U+10FFFF。 表示算法比较复杂,简单说明如下: 1. 从代码点U中减去0x10000,得到U'。这样U+10000~U+10FFFF就变成了 0x00000~0xFFFFF。
2. 用20位二进制数表示U'。 U'=yyyyyyyyyyxxxxxxxxxx
3. 将前10位和后10位用W1和W2表示,W1=110110yyyyyyyyyy,W2=110111xxxxxxxxxx,则 W1 = D800~DBFF,W2 = DC00~DFFF。
例如,U+12345表示为 D8 08 DF 45(UTF-16BE),或者08 D8 45 DF(UTF-16LE)。
但是由于这种算法的存在,造成UCS-2中的 U+D800~U+DFFF 变成了无定义的字符。
UTF-32
UTF-32用四个字节表示代码点,这样就可以完全表示UCS-4的所有代码点,而无需像UTF-16那样使用复杂的算法。
与UTF-16类似,UTF-32也包括UTF-32、UTF-32BE、UTF-32LE三种编码,UTF-32也同样需要BOM字符。 仅用'ABC'举例:
UTF-32BE | 00 00 00 41 00 00 00 42 00 00 00 43 |
UTF-32LE | 41 00 00 00 42 00 00 00 43 00 00 00 |
UTF-32(Big Endian) | 00 00 FE FF 00 00 00 41 00 00 00 42 00 00 00 43 |
UTF-32(Little Endian) | FF FE 00 00 41 00 00 00 42 00 00 00 43 00 00 00 |
UTF-32(不带BOM) | 00 00 00 41 00 00 00 42 00 00 00 43 |
UTF-8
UTF-16和UTF-32的一个缺点就是它们固定使用两个或四个字节,
这样在表示纯ASCII文件时会有很多00字节,造成浪费。 而RFC3629定义的UTF-8则解决了这个问题。
UTF-8用1~4个字节来表示代码点。表示方式如下:
UCS-2 (UCS-4) | 位序列 | 第一字节 | 第二字节 | 第三字节 | 第四字节 |
U+0000 .. U+007F | 00000000-0xxxxxxx | 0xxxxxxx | |||
U+0080 .. U+07FF | 00000xxx-xxyyyyyy | 110xxxxx | 10yyyyyy | ||
U+0800 .. U+FFFF | xxxxyyyy-yyzzzzzz | 1110xxxx | 10yyyyyy | 10zzzzzz | |
U+10000..U+10FFFF | 00000000-000wwwxx-&br;xxxxyyyy-yyzzzzzzz | 11110www | 10xxxxxx | 10yyyyyy | 10zzzzzz |
可见,ASCII字符(U+0000~U+007F)部分完全使用一个字节,避免了存储空间的浪费。 而且UTF-8不再需要BOM字节。
另外,从上表中可以看出,单字节编码的第一字节为[00-7F],双字节编码的第一字节为[C2-DF], 三字节编码的第一字节为[E0-EF]。这样只要看到第一个字节的范围就可以知道编码的字节数。 这样也可以大大简化算法。
字符编码(ucs2 ucs4 utf)相关推荐
- 将centos字符编码换成utf-8
1.mysql支持中文 http://blog.csdn.net/ouitiken/article/details/23171327 2.修改centos支持中文,并于mysql字符集一样为utf-8 ...
- Python 3 文件和字符编码
一.文件: 打开文件的模式有: r,只读模式(默认).w,只写模式. 不可读,不存在则创建:存在则删除内容a,追加模式. 可读,不存在则创建:存在则只追加内容 "+"表示可以同时 ...
- 深入理解Python字符编码--转
http://blog.51cto.com/9478652/2057896 不论你是有着多年经验的 Python 老司机还是刚入门 Python 不久,你一定遇到过UnicodeEncodeError ...
- 字符编码相关知识总结
1. 什么是字符 字符是书写的最基本构建单元.字符可以表示字母.数字.标点.表意符号(比如汉字).数学符号,或者其他的书写基本单元. 不能把字符和字形相混淆.字符是唯一的,抽象的语言"原子& ...
- 编码全解:从ASCII/ISO-8859/GB2312/GBK到Unicode的UCS-2/UCS-4/UTF-8/UTF-16/UTF-32
1.ASCII编码 为了能在电报.打印机.计算机等电信设备上进行信息交换,就必须为不同的设备制定统一的编码格式.早期的电信设备字符编码基本都是使用6位编码.1963年美国国家标准协会(ANSI)制定并 ...
- ASCII、Unicode、UCS-2、UTF-8 等字符编码规则的区别与联系
目录 一.前言 二.补充(bit & Byte) 三.ASCII(美国信息交换标准代码) 四.各国独立的语言编码 五.Unicode(统一码.万国码) 1. Unicode字符集 2. Uni ...
- JavaScript 的内部字符编码是 UCS-2 还是 UTF-16
对于 JavaScript 使用的是 UCS-2 还是 UTF-16 这个问题,我找了很久,没有发现一个权威的回答,我决定自己研究一下它.这个回答来自于你对 JavaScript 引擎或者对 Java ...
- 字符集、字符编码、国际化、本地化简要总结(UNICODE/UTF/ASCII/GB2312/GBK/GB18030)
PS:要转载请注明出处,本人版权所有. PS: 这个只是基于<我自己>的理解, 如果和你的原则及想法相冲突,请谅解,勿喷. 环境说明 普通的linux 和 普通的windows. ...
- java ucs 2,【字符编码系列】JavaScript使用的编码-UCS-2
写在前面的话 本文属于 字符编码系列文章之一,更多请前往 字符编码系列. 在JavaScrip中,进行一些GBK或者UTF-8编码的字符操作时,打印出来的经常是乱码,其原因就是因为JavaScript ...
最新文章
- delphi使用outputdebugstring调试程序和写系统日志
- POJ 2187 Beauty Contest( 凸包求最远点对 )
- python3.6中@property装饰器的使用
- Socket实现java服务端与AndroidApp端数据交互
- webpack学习1-打包
- 后台服务出现明显“变慢”,谈谈你的诊断思路?
- 微型计算机内存主要,微型计算机的内存容量主要指 ( ) 的容量 (7.0分)
- es 根据_id查询_京东把 Elasticsearch 用得真牛逼!日均5亿订单查询完美解决
- invalid comparison: java.util.Date and java.lang.String
- 如何在ASP.NET Core中构造UrlHelper,及ASP.NET Core MVC路由讲解
- dbv mysql_mysql数据库版本控制dbv使用
- 服务器ubuntu系统调节亮度,ubuntu 设置显示器的亮度
- JAVA学习日志 关于周易数字卦的一个算法
- 解决http请求下无法开启麦克风问题
- 题目7飞机票订票系统
- 中国电子学会2022年12月份青少年软件编程Python等级考试试卷四级真题(含答案)
- 201908个人笔记
- 用邻接表dfs和bfs图
- 拆 米家台灯_米家台灯1S及米家充电台灯测评报告
- A non-optional actual argument must be present when invoking a procedure with an explicit interface
热门文章
- 企业实战|Mysql不停机维护主从同步
- Windows安全加固系列
- 自己的Linux用户
- 【Oracle】append
- Win7/Win8/Win8.1下配置apache+php运行缓慢问题解决方法
- 修改WebBrowser控件的内核解决方案
- 方法和函数有什么区别?
- __init__.py的作用是什么?
- clion环境搭建c++_mingw64_clion中使用python,ros-qt
- 通过拦截器获取控制类requestMapping注解中的属性值