字符编码ASCII、ANSI、DBCS、MBCS、GB2312、GBK、GB18030、UTF-8、UTF-16、Unicode、emoji
字符必须编码后才能被计算机处理。计算机使用的缺省编码方式就是计算机的内码。
内码是指操作系统内部的字符编码。早期操作系统的内码是与语言相关的。现在的Windows在系统内部支持Unicode,然后用代码页(code page)适应各种语言。微软一般将缺省代码页指定的编码说成是内码。
EBCDIC (Extended binary coded decimal interchange code)
IBM于1963-1964年间推出的字符编码表,根据早期打孔机式的二进化十进数(BCD)排列而成。
EBCDIC编码的英文字母不是连续排列的,中间出现了多次断续,给编程带来了一些困难。
ASCII(American standard code for iInformation interchange)
计算机是美国人发明的,他们首先要考虑的问题是,如何将二进制和英文字母(拉丁文)对应起来。ASCII编码是美国人给自己设计的。ASCII 的标准版本于1967年第一次发布,最后一次更新则是在1986 年,迄今为止共收录了128个字符。
在ASCII编码中,大写字母、小写字母和阿拉伯数字都是连续分布的,这给程序设计带来了很大的方便。ASCII编码已经成了计算机的通用标准,没有人再使用EBCDIC了,它已经消失在历史的长河中了。
ANSI、DBCS(Double-byte character set)、MBCS(Muilti-bytes)
为了扩充ASCII编码,以用于显示本国的语言,不同的国家和地区制定了不同的标准,由此产生了 GB2312、GBK、Big5(中文繁体)、Shift_JIS(日文)等各自的编码标准。这些使用2个字节来代表一个字符的各种汉字延伸编码方式,称为ANSI编码,又称为DBCS或MBCS。
ANSI通常使用 0x00~0x7F范围的1个字节来表示1个英文字符。超出此范围的使用0x80~0xFFFF来编码,即扩展的ASCII编码。
国标码
GB2312也是ANSI编码里的一种,对ANSI编码最初始的ASCII编码进行扩充,为了满足国内在计算机中使用汉字的需要,中国国家标准总局发布了一系列的汉字字符集国家标准编码,统称为GB码/国标码。其中最有影响的是于1980年发布的《信息交换用汉字编码字符集 基本集》,标准号为GB 2312-1980,因其使用非常普遍,也常被通称为国标码。GB2312编码通行于我国内地;新加坡等地也采用此编码。几乎所有的中文系统和国际化的软件都支持GB 2312。
GB2312一共收录了7445个字符,包括6763个汉字和682个其它符号。汉字区的内码范围高字节从B0-F7,低字节从A1-FE,占用的码位是72*94=6768。其中有5个空位是D7FA-D7FE。
GB2312支持的汉字太少。1995年的汉字扩展规范GBK1.0收录了21886个符号,它分为汉字区和图形符号区。汉字区包括21003个字符。
GBK的文字编码是用双字节来表示的,即不论中、英文字符均使用双字节来表示,为了区分中文,将其最高位都设定成1。GBK包含全部中文字符。
2000年的GB18030是取代GBK1.0的正式国家标准。该标准收录了27484个汉字,同时还收录了藏文、蒙文、维吾尔文等主要的少数民族文字。
GB18030的编码采用单字节、双字节和4字节方案。其中单字节、双字节和GBK是完全兼容的。4字节编码的码位就是收录了CJK(中日韩)扩展A的6582个汉字(Unicode码0x3400-0x4db5)。GB18030一共收录了27484个汉字。
Unicode为了节省码位,将中日韩三国语言中的文字统一编码。GB13000.1(20902个汉字)就是ISO/IEC 10646-1的中文版,相当于Unicode 1.1。
Unicode
Unicode 10.0添加8518个字符,总136690字符。
Unicode,是统一码联盟(unicode.org)为了世界上大多数文字系统进行整理和编码。
ISO组织也在做同样的事情,开展了 ISO/IEC 10646项目,叫UCS(Universal Coded Character Set)。
在1991年前后,双方都认识到世界不需要两个不兼容的字符集。于是它们开始合并双方的工作成果,并为创立一个单一编码表而协同工作。从Unicode2.0开始,Unicode项目采用了与ISO 10646-1相同的字库和字码。
目前两个项目仍都存在,并独立地公布各自的标准。
Unicode只是规定如何编码,并没有规定如何传输、保存这个编码。UTF-8、UTF-7、UTF-16都是被广泛接受的方案。UTF是“Unicode Transformation Format”的缩写。
UTF-8就是以8位为单元对Unicode进行编码。UTF-8对英文使用8位(一个字节),中文使用24为(三个字节)来编码。UTF-8的一个特别的好处是它与ISO-8859-1完全兼容。ISO-8859-1编码是单字节编码,向下兼容ASCII。
UTF-16BE/LE:UTF-16就是Windows模式的编码模式,用2个字节表示任意字符,注意:英文字符也占2个字节,这种编码可以表示65536个字符。
字节序
big endian和little endian是CPU处理多字节数的不同方式。例如“汉”字的Unicode编码是6C49。那么写到文件里时,究竟是将6C写在前面,还是将49写在前面?如果将6C写在前面,就是big endian。如果将49写在前面,就是little endian。
“endian”这个词出自《格列佛游记》。小人国的内战就源于吃鸡蛋时是究竟从大头(Big-Endian)敲开还是从小头(Little-Endian)敲开,由此曾发生过六次叛乱,一个皇帝送了命,另一个丢了王位。
我们一般将endian翻译成“字节序”,将big endian和little endian称作“大尾”和“小尾”。
对于任何字符编码,编码单元的顺序是由编码方案指定的,与endian无关。例如GBK的编码单元是字节,用两个字节表示一个汉字。这两个字节的顺序是固定的,不受CPU字节序的影响。UTF-16的编码单元是word(双字节),word之间的顺序是编码方案指定的,word内部的字节排列才会受到endian的影响。
UTF-16BE/LE:至于LE和BE,就是一个数值在内存/磁盘上的保存方式,比如一个编码0x8182,在磁盘上应该是0x81 0x82呢?还是0x82 0x81呢?就是高位是最先保存还是最后保存的问题,前者为BE,后者为LE。
BOM
Unicode规范中推荐的标记字节顺序的方法是BOM(Byte order Mark)。" EF BB BF" 这三个字节就叫BOM。
UTF-8以字节为编码单元,没有字节序的问题。UTF-8允许含BOM,但通常不含BOM。UTF-8不需要BOM来表明字节顺序,但可以用BOM来表明编码方式。Windows就是使用BOM来标记文本文件的编码方式的。
BOM在UTF-16中用来表示高低字节序列的。在字节流之前有BOM表示采用低字节序列(低字节在前面)。
表情符号(英语:emoji,日语:絵文字/えもじ)
早先由日本企业发明,日文将其称为“絵文字”。后来随着智能手机的推广,全世界都在用,于是被Unicode收编了。截至Unicode 10.0,共有1144个emoji被收录。
字符编码ASCII、ANSI、DBCS、MBCS、GB2312、GBK、GB18030、UTF-8、UTF-16、Unicode、emoji相关推荐
- 字符集、字符编码、国际化、本地化简要总结(UNICODE/UTF/ASCII/GB2312/GBK/GB18030)
PS:要转载请注明出处,本人版权所有. PS: 这个只是基于<我自己>的理解, 如果和你的原则及想法相冲突,请谅解,勿喷. 环境说明 普通的linux 和 普通的windows. ...
- 大端小端,ascii,unicode,utf8,utf16,utf32,gb2312,gbk,gb18030等字符编码问题
字符编码的问题让我困惑了好久的一段时间,其实简单的想,字符编码没有什么东西的,可是想真弄明白还是花去了我一点时间,前端时间写了一个简单的log程序,主要的工作就是支持系统运行时输出日志信息,同时允许定 ...
- 字符,字节和编码, ASCII码, DBCS码,SBCS码 与Unicode码
字符,字节和编码, ASCII码, DBCS码,SBCS码 与Unicode码 http://www.regexlab.com/zh/encoding.htm 1. 编码问题的由来,相关概念的理解 1 ...
- ASCII,unicode, utf8 ,big5 ,gb2312,gbk,gb18030等几种常用编码区别
ASCII,unicode, utf8 ,big5 ,gb2312,gbk,gb18030等几种常用编码区别 最近老为编码问题而烦燥,下定决心一定要将其弄明白!本文主要总 结网上一些朋友提供的 asc ...
- Computer:字符编码(ASCII编码/GBK编码/BASE64编码/UTF-8编码)的简介、案例应用(python中的编码格式及常见编码问题详解)之详细攻略
Computer:字符编码(ASCII编码/GBK编码/BASE64编码/UTF-8编码)的简介.案例应用(python中的编码格式及常见编码问题详解)之详细攻略 目录 符串编码(ASCII编码/GB ...
- 细说ASCII、GB2312/GBK/GB18030、Unicode、UTF-8/UTF-16/UTF-32编码
参考: <编码标准-GB2312 GBK GB18030> <字符编码笔记:ASCII,Unicode 和 UTF-8> <字体编辑用中日韩汉字Unicode编码表> ...
- [转]字符编码,ansi, unicode,utf-8, utf-16
Unicode(Universal Multiple-Octet Coded Character Set): 目前最流行和最有前途的字符编码规范,因为它解决了不同语言编码的冲突. Uicode由来: ...
- 字符编码ASCII、Unicode 、UTF-8 及实例汉字与Unicode码的相互转化
字符编码ASCII.Unicode .UTF-8 及实例汉字与Unicode码的相互转化 ASCII 码 我们知道,计算机内部,所有信息最终都是一个二进制值.每一个二进制位(bit)有0和1两种状态, ...
- 编码标准-GB2312 GBK GB18030
关于 ASCII编码 可以查看我的另外一篇博客 编码标准-ASCII 关于 Unicode 可以参考我的另外一篇博客 Unicode 编码标准-GB2312 GBK GB18030 基本概念 区位码 ...
- 计算机字符编码——ASCII码和常用编码
计算机字符编码--ASCII码和常用编码 ASCII码 基本介绍 上个世纪60年代, 美国制定了一套字符编码, 对英语字符与二进制位之间的关系, 做了统一规定,这被称为ASCII码. ASCII码一共 ...
最新文章
- Matlab与线性代数 -- 矩阵的连接
- 【Python】str转datetime与datetime计算
- Elasticsearch 100问(上)
- 关于selinux模式更改警告模式
- java secretkey_Java中的SecretKeyFactory类 | 学步园
- sqlplus / as sysdba 提示权限不足(ORA-01031)问题处理
- Python文件操作与函数目录
- linux远程登录显示,SSH远程登录显示自定义警告信息
- reinterpret_cast、dynamic_cast、static_cast的使用及注意事项
- jar的MANIFEST.MF配置了Class-Path, java -classpath设置无效
- java线程同步机制,实现同步锁
- 基于深度图像的行人检测、跟踪技术研究_周波_2014
- DataV-组件配置
- 苹果固件验证关闭服务器时间,苹果ios系统终于可以降级了,或关闭固件验证
- 构建可伸缩系统:垂直伸缩、水平伸缩、应用无状态、一致性哈希、分布式文件系统、分布式计算框架、应用垂直拆分、数据库读写分离-《分布式Java应用》读书笔记
- 葫芦时刻_Hulu将提供离线观看(最终)
- DMA+PWM驱动彩色RGB灯
- 计算机模拟地球爆炸,模拟地球爆炸
- android10管理权限,Android 权限管理
- input标签type=“week“选择第几周