计算机系统-Unicode字符集与它包含的UTF-8解决方案

Unicode字符集最早要求每个字符占4个字节，这用英语和阿拉伯语的国家能同意吗？他们肯定不同意，4个字节太大了，但是类似中文韩语日语这些，1个2个字节还放不下，这就提出了Unicode字符集下的UTF-8解决方案，规定如下

1.兼容原来的ascii编码，所以能用1个字节的就还用一个字节
2.拉丁字母，希腊文，叙利亚文，等等一堆乱七八糟国家的语言，占1个或者2个字节
3.各个国家常用的字符，占3个字节
4.各个国家不常用的字符，占4个字节

上述这些内容都存在一个叫做代码页的地方，占的字节越小的字符，在代码也越靠前

只要会一种高级语言，那么想必你一定知道该语言的字符串是如何实现的，例如java的String类，C++和python的string类，它们都是使用一个标识来记录字符串的长度，在UTF8编码中，也是始终这种方式记录的，要不然我怎么知道哪到哪是一个汉字，哪到哪是一个英文，UTF8约定如下

如果
字节的开头是0：则是ascii
字节的开头是110：则占2个字节，前一个字节110开头，后一个字节10开头
字节的开头是1110：则占3个字节，前一个字节1110，后2个字节都是10开头
字节的开头是11110：则占4个字节，前一个字节11110，后3个字节都是10开头

计算机系统-Unicode字符集与它包含的UTF-8解决方案相关推荐

java字符集与字符编码 Unicode字符集
字符集与字符编码是两个不同的概念. 字符集,顾名思义就是字符的集合,比如ASCII字符集包含了a-z A-Z 0-9 半角标点符号和特殊控制符号在内的128个符号.对于一个字符集来说,要正确编码转码一 ...
《windows核心编程系列》二谈谈ANSI和Unicode字符集
第二章:字符和字符串处理使用vc编程时项目-->属性-->常规栏下我们可以设置项目字符集合,它可以是ANSI(多字节)字符集,也可以是unicode字符集.一般情况下说Unicode都是 ...
UNICODE字符集
Unicode :宽字节字符集 1. 如何取得一个既包含单字节字符又包含双字节字符的字符串的字符个数? 可以调用Microsoft Visual C++的运行期库包含函数_mbslen来操作多字节(既 ...
【转】刨根究底字符编码之十——Unicode字符集的字符编码方式
一.字符编码方式CEF的选择 1. 由于Unicode字符集非常大(并且作为开放字符集还在不断扩展之中),有些字符的编号(即码点值)需要两个或两个以上字节来表示,而要对这样的编号进行编码,也必须使用两 ...
通过编写串口助手工具学习MFC过程——（三）Unicode字符集的宽字符和多字节字符转换...
通过编写串口助手工具学习MFC过程因为以前也做过几次MFC的编程,每次都是项目完成时,MFC基本操作清楚了,但是过好长时间不再接触MFC的项目,再次做MFC的项目时,又要从头开始熟悉.这次通过做一个 ...
让Unicode字符集少添麻烦
从VC6.0入门的初学者在使用VS2008的时候,往往会遇到VS2008默认使用Unicode字符集带来的麻烦 .比如说,在生成解决方案的时候,经常会遇到以下提示: 无法从"char [9] ...
关于Unicode字符集,将char数组转化成LPCTSTR
解决方法不适用spritf,而是使用wsprintf 1.可变参数: 标准版 sprintf swprintf _stprintf 最大长度版 _snprintf _snwprintf _sntpr ...
Unicode字符集下CString与char *转换（解决中文乱码等）（转）
UniCode 下 CString 转 char* 的方法的文章有很多,但是大部分都是在互相转载,看了那么多资料,仍然没有解决乱码的问题,后来从一个论坛的一条回复里面找到了正确的方法,特此拿出来与大家 ...
关于Unicode字符集(http://blog.sina.com.cn/s/blog_4b4409c30100vw9t.html)
最初的unicode编码是固定长度的,16位,也就是2两个字节代表一个字符,这样一共可以表示65536个字符.显然,这样要表示各种语言中所有的字符是远远不够的.Unicode4.0规范考虑到了这种情况 ...

计算机系统-Unicode字符集与它包含的UTF-8解决方案

计算机系统-Unicode字符集与它包含的UTF-8解决方案相关推荐

最新文章

热门文章