UNICODE与UTF-8的转换
52 Unicode - Unicode编码表,Unicode字符大全,Unicode字符集,Unicode符号
1. UTF-8的编码方式
UTF-8是UNICODE的一种变长度的编码表达方式(一般UNICODE为双字节[指UCS2]),UTF-8就是以8位为单元对UCS进行编码,而UTF-8不使用大尾序和小尾序的形式,每个使用UTF-8储存的字符,除了第一个字节外,其余字节的头两个位元都是以"10"开始,使文字处理器能够较快地找出每个字符的开始位置。
为了与以前的ASCII码相容(ASCII为一个字节),因此 UTF-8 选择了使用可变长度字节来储存 Unicode,具体转换关系如下表:
(表3-2 Unicode和UTF-8之间的转换关系表)
UCS-4(UNICODE)编码 | UTF-8字节流 |
U-00000000 – U-0000007F | 0xxxxxxx |
U-00000080 – U-000007FF | 110xxxxx 10xxxxxx |
U-00000800 – U-0000FFFF | 1110xxxx 10xxxxxx 10xxxxxx |
U-00010000 – U-001FFFFF | 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx |
U-00200000 – U-03FFFFFF | 111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx |
U-04000000 – U-7FFFFFFF | 1111110x 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx |
2. UNICODE转换为UTF-8
UTF-8的特点是对不同范围的字符使用不同长度的编码。对于0x00-0x7F之间的字符,UTF-8编码与ASCII编码完全相同。UTF-8编码的最大长度是4个字节。从表3-2可以看出,4字节模板有21个x,即可以容纳21位二进制数字。Unicode的最大码位0x10FFFF也只有21位。
如:
“汉”字的Unicode编码是0x6C49。0x6C49在0x0800-0xFFFF之间,使用用3字节模板:1110xxxx 10xxxxxx 10xxxxxx。将0x6C49写成二进制是:0110 1100 0100 1001, 用这个比特流依次代替模板中的x,得到:11100110 10110001 10001001,即E6 B1 89。
又如:
Unicode编码0x20C30在0x010000-0x10FFFF之间,使用4字节模板:11110xxx 10xxxxxx 10xxxxxx 10xxxxxx。将0x20C30写成21位二进制数字(不足21位就在前面补0):0 0010 0000 1100 0011 0000,用这个比特流依次代替模板中的x,得到:11110000 10100000 10110000 10110000,即F0 A0 B0 B0。
3. UTF-8转换为UNICODE
UNICODE与UTF-8的转换相关推荐
- ASCII Unicode GBK UTF的联系
快下班时,爱问问题的小朋友Nico又问了一个问题: "sqlserver里面有char和nchar,那个n据说是指unicode的数据,这个是什么意思." 并不是所有简单的问题都很 ...
- 汉字编码(【Unicode】 【UTF-8】 【Unicode与UTF-8之间的转换】 【汉字 Unicode 编码范围】【中文标点Unicode码】【GBK编码】【批量获取汉字UNICODE码】)
参考博客: Unicode与UTF-8互转(C语言实现):http://blog.csdn.net/tge7618291/article/details/7599902 汉字 Unicode 编码范围 ...
- ASCII、GB2312、GBK、Unicode、UTF-8介绍和转换
1.ASCII码 上个世纪60年代,美国制定了一套字符编码,对英语字符与二进制位之间的关系,做了统一规定.这被称为 ASCII 码,一直沿用至今.ASCII 码一共规定了128个字符的编码,比如空格S ...
- [字符集]Unicode和UTF-8之间的转换详解
最近在用VC++开发一个小工具,平时用惯了.NET,用起VC++最郁闷的就是字符串处理.当然最最让人难于琢磨的就是字符集,编码之间的转换.通过这几天的研究,终于明白了Unicode和UTF-8 ...
- Unicode和UTF-8之间的转换详解
Unicode是一个字符集,而UTF-8是 Unicode的其中一种,Unicode是定长的都为双字节,而UTF-8是可变的,对于汉字来说Unicode占有的字节比UTF-8占用的字节少1 个字节.U ...
- php 兼容unicode文字的字符串大小写转换,php实现兼容Unicode文字的字符串大小写转换strtolower()和strtoupper()...
前言 网上流传着这么一个腾讯笔试题: PHP的strtolower()和strtoupper()函数在安装非中文系统的服务器下可能会导致将汉字转换为乱码,请写两个替代的函数实现兼容Unicode文字的 ...
- Unicode 与 UTF-8 之间的转换
JS 中,所有的数字都是用64位浮点数的形式存储的. 我们知道数字是如何存储的,十进制转成二进制就可以了.那么字符是如何存储的呢?转成数字不就得了,再用二进制存,但是'1'不能用1表示,那给字符编号不 ...
- pythonunicode和str_python2 中 unicode 和 str 之间的转换及与python3 str 的区别
在python2中字符串分为 unicode 和 str 类型 Str To Unicode 使用decode(), 解码 Unicode To Str 使用encode(), 编码 返回数据给前端时 ...
- php实现兼容Unicode文字的字符串大小写转换strtolower()和strtoupper()
前言 网上流传着这么一个腾讯笔试题: PHP的strtolower()和strtoupper()函数在安装非中文系统的服务器下可能会导致将汉字转换为乱码,请写两个替代的函数实现兼容Unicode文字的 ...
- unicode和字符串之间的转换有两种方式
unicode和字符串之间的转换有两种方式. 1.1.通过JDK自带的"native2ascii"进行转换 首先,您测试的机器需要安装JDK,比如我的机器环境,我的JDK安 ...
最新文章
- 如何列出JavaScript对象的属性?
- 面试官:你相信光吗?
- MyCat读写分离-笔记(四)
- Android Sutido 编译速度优化
- android viewpager画廊,Android使用ViewPager实现画廊效果
- Linux启动管理:grub
- 多线程服务器的适用场合
- BTC 5分钟内跌幅1.05%,现价28531.78usdt
- war3第一视角集合 UD篇
- Python之爬取《你好,李焕英》电影豆瓣短评
- Java 源文件的命名规则
- 单片机学习笔记6--中断系统(基于百问网STM32F103系列教程)
- 《庄子·杂篇·庚桑楚第二十三》
- 谨以此文,献给我的大学四年—双非本科到双一流985的成长之路
- 自用力扣笔记备忘录——数组tag简单题
- 读《格鲁夫给经理人的第一课》
- 获取当前时间一年后的日期
- SuMa++论文阅读
- webrtc中mid rid
- 科研必备的12个网站
热门文章
- 大家好,我是区块链本人。今天,我要给你们介绍我的家族
- WSP框架:WEB组件的原理
- Android --- RecyclerViwe中使用SnapHelper报错:“An instance of OnFlingListener already set.”
- 不定积分24个基本公式_高分攻略丨语文阅读理解的24个万能答题公式
- 定了!2021年数据中心《能源管理师》考试,全国报名入口!
- 关于对2020年数据中心的发展的8个预测
- 成功解决KeyError: “Passing list-likes to .loc or [] with any missing labels is no longer supported. The
- Python:利用python编程实现三维图像绘制展示(六面体旋转、三维球柱状体、下雪场景等)
- DL之SegNet:SegNet图像分割/语义分割算法的简介(论文介绍)、架构详解、案例应用等配图集合之详细攻略
- DL之DNN优化技术:自定义MultiLayerNet【5*100+ReLU】对MNIST数据集训练进而比较三种权重初始值(Xavier参数初始化、He参数初始化)性能差异