UTF-8到Unicode的编码转换
开发者在线 Builder.com.cn 更新时间:2008-03-25作者:happykevins 来源:CSDN
本文关键词: 编码转换 unicode UTF-8 游戏
UTF-8就是Unicode Transformation Format-8,是Unicode的一种变换编码格式。
UTF-8 有以下特性:
UCS 字符 U+0000 到 U+007F (ASCII) 被编码为字节 0x00 到 0x7F (ASCII 兼容). 这意味着只包含 7 位 ASCII 字符的文件在 ASCII 和 UTF-8 两种编码方式下是一样的.
所有 >U+007F 的 UCS 字符被编码为一个多个字节的串, 每个字节都有标记位集. 因此, ASCII 字节 (0x00-0x7F) 不可能作为任何其他字符的一部分.
表示非 ASCII 字符的多字节串的第一个字节总是在 0xC0 到 0xFD 的范围里, 并指出这个字符包含多少个字节. 多字节串的其余字节都在 0x80 到 0xBF 范围里. 这使得重新同步非常容易, 并使编码无国界, 且很少受丢失字节的影响.
可以编入所有可能的 231个 UCS 代码
UTF-8 编码字符理论上可以最多到 6 个字节长, 然而 16 位 BMP 字符最多只用到 3 字节长.
Bigendian UCS-4 字节串的排列顺序是预定的.
字节 0xFE 和 0xFF 在 UTF-8 编码中从未用到.
下列字节串用来表示一个字符. 用到哪个串取决于该字符在 Unicode 中的序号.
U-00000000 - U-0000007F:
0xxxxxxx
U-00000080 - U-000007FF:
110xxxxx 10xxxxxx
U-00000800 - U-0000FFFF:
1110xxxx 10xxxxxx 10xxxxxx
U-00010000 - U-001FFFFF:
11110xxx 10xxxxxx 10xxxxxx 10xxxxxx
U-00200000 - U-03FFFFFF:
111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
U-04000000 - U-7FFFFFFF:
1111110x 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
从上表还可以看出,UTF-8每个编码字符都不可能以“10”开头,“10”是以连接符的形式出现在后面的编码字节开头。因此UTF-8编码在存储和传输时是不容易出错的。
下面是UTF-8到Unicode的编码转换代码(J2ME环境下的实现):UTFC2UniC方法包含了编码转换逻辑。
/**
* 将UTF-8字节数据转化为Unicode字符串
* @param utf_data byte[] - UTF-8编码字节数组
* @param len int - 字节数组长度
* @return String - 变换后的Unicode编码字符串
*/
public static String UTF2Uni(byte[] utf_data, int len)
{
StringBuffer unis = new StringBuffer();
char unic = 0;
int ptr = 0;
int cntBits = 0;
for(;ptr < len;)
{
cntBits = getCntBits(utf_data[ptr]);
if(cntBits == -1)
{
++ptr;
continue;
}
else
if(cntBits == 0)
{
unic = UTFC2UniC(utf_data, ptr, cntBits);
++ptr;
}
else
{
unic = UTFC2UniC(utf_data, ptr, cntBits);
ptr += cntBits;
}
unis.append(unic);
}
return unis.toString();
}
/**
* 将指定的UTF-8字节组合成一个Unicode编码字符
* @param utf byte[] - UTF-8字节数组
* @param sptr int - 编码字节起始位置
* @param cntBits int - 编码字节数
* @return char - 变换后的Unicode字符
*/
public static char UTFC2UniC(byte[] utf, int sptr, int cntBits)
{
/*
Unicode <-> UTF-8
U-00000000 - U-0000007F: 0xxxxxxx
U-00000080 - U-000007FF: 110xxxxx 10xxxxxx
U-00000800 - U-0000FFFF: 1110xxxx 10xxxxxx 10xxxxxx
U-00010000 - U-001FFFFF: 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx
U-00200000 - U-03FFFFFF: 111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
U-04000000 - U-7FFFFFFF: 1111110x 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
*/
int uniC = 0; // represent the unicode char
byte firstByte = utf[sptr];
int ptr = 0; // pointer 0 ~ 15
// resolve single byte UTF-8 encoding char
if(cntBits == 0)
return (char) firstByte;
// resolve the first byte
firstByte &= (1 << (7 - cntBits)) - 1;
// resolve multiple bytes UTF-8 encoding char(except the first byte)
for(int i = sptr + cntBits - 1; i > sptr; --i)
{
byte utfb = utf[i];
uniC |= (utfb & 0x3f) << ptr;
ptr += 6;
}
uniC |= firstByte << ptr;
return (char)uniC;
}
// 根据给定字节计算UTF-8编码的一个字符所占字节数
// UTF-8规则定义,字节标记只能为0或2~6
private static int getCntBits(byte b)
{
int cnt = 0;
if (b == 0) return -1;
for(int i = 7; i >= 0; --i)
{
if (((b >> i) & 0x1) == 1)
++cnt;
else
break;
}
return (cnt > 6 || cnt == 1) ? -1 : cnt;
}
UTF-8到Unicode的编码转换相关推荐
- python进制转换,unicode,ascii编码转换
一.各进制的字符串转10进制~ int('字符串',2[16|8]) #可以把进制形式的字符串按照2进制|16进制|8进制的方式转成10进制 例: int('79',16) 121int('01010 ...
- FATFS配置长文件名,为何跟编码转换有关
要打开FATFS的长文件名功能,必须添加OEMCP与Unicode的编码转换函数,同时也就要把OEMCP与Unicode的编码转换数组添加进来,这是为什么呢? OEMCP在936代码页下就是GBK,这 ...
- Qt 字符串编码转换
包含头文件: #include <QTextCodec> 栗子,UTF-8 转 GB2312 /* UTF-8 转 GB2312 */ QString str = "这是一段文字 ...
- Java 中文 Unicode 编码转换
Java作为支持多平台的高级程序设计语言自然要支持多种编码方式才能满足程序设计的需要.但是在处理中文&其他编码之间的转换问题时往往出现各种问题,另程序员大伤脑筋.本文着重阐述了Java中文与U ...
- Qt中文编码和QString类Unicode编码转换
1 window中文GBK编码和Unicode编码转换 //GBK‐> QString QString str = QString::fromLocal8Bit("新浪微博" ...
- 关于Laravel中使用response()方法调用json()返回数据unicode编码转换的问题解决
关于Laravel中使用response()方法调用json()返回数据unicode编码转换的问题解决 参考文章: (1)关于Laravel中使用response()方法调用json()返回数据un ...
- unicode 编码转换漏洞_好程序员Python教程之字符串编码知识小结
好程序员Python教程之字符串编码知识小结,提及Python字符串,你会想到什么?是ASCII,还是Unicode?他们之间是如何转换的?字符串编码和字符串有什么区别?接下来好程序员Python教程 ...
- python utf-8编码转换中文_python实现unicode转中文及转换默认编码的方法
本文实例讲述了python实现unicode转中文及转换默认编码的方法.分享给大家供大家参考,具体如下: 一.在爬虫抓取网页信息时常需要将类似"\u4eba\u751f\u82e6\u77e ...
- C#_汉字与GBK,Unicode,UTF-8编码之间的转换
IT发展至今,字符编码版本众多,目前流行的GBK,Unicode,UTF-8编码与汉字的转换可用如下代码: private void button1_Click(object sender, Even ...
最新文章
- 【mysql】SQL常用指令
- linux 定时任务 crontab 报错 service command not found 解决方法
- 服务器收集错误信息0不动,win10系统提示“我们只收集某些错误信息”的解决方案...
- merge into语句的使用
- 《ArcGIS Engine+C#实例开发教程》第一讲桌面GIS应用程序框架的建立
- linux重新编译mysql_linux下编译安装mysql++ | 学步园
- 【MongoDB】NoSQL Manager for MongoDB 教程(基础篇)
- iOS:后台定位并实时向服务器发送位置
- ITK:可视化静态稀疏Shi 2D水平设置图层
- leetcode 617. Merge Two Binary Trees | 617. 合并二叉树(Java)
- VS2005~VS2022,那些年用过的VS,致敬,青春!
- MATLAB 四元数旋转函数
- Spark之MLlib
- 扫荡波”来袭已造成大面积用户系统崩溃
- 1.1【气宇轩昂】《踏雪》
- 谓词函数和谓词函数对象_称为形容词的函数
- latex算法框三线加粗
- Qt中Label标签的使用
- 在阿里(02):阿里入职记
- 上班族妈妈的教子宝典:教你做事业成功的好妈妈
热门文章
- 首页仪表盘echart_封装万能表单组件
- Flash Builder4 和java整合 、Blazed交互
- 用python画出漂亮的地日模型(围绕太阳转地球)
- 落户经验分享---单列计划落户档案派遣,存档流程说明
- python入门之数据类型及常用操作
- TMC2225电机驱动简介
- 三甲医院his系统源码_南京同行交流 | 三甲医院医疗大数据集成平台建设及打造可持续发展的数字底座架构设计...
- 【Spark】基于Spark的大型电商网站交互式行为分析系统项目实战
- 鸿蒙版的京东APP,鸿蒙版京东App上架华为商城:正式版最快6月见
- 碳中和背景下我国空调系统发展趋势2022(李先庭)