使用iconv进行GBK到BIG5编码转/简繁转换遇到的问题

Linux操作系统中的iconv命令/函数可以将一种已知的字符集文件转换成另一种已知的字符集文件。
在使用它进行GBK到BIG5的编码转换时，遇到"iconv:illeagal input sequence at positon xx ”的错误。

有个一个文本文件gbk.txt，只有四个汉字，内容如下：

喜欢德芙

使用下面的命令，在shell中进行转换

iconv -f gbk -t big5 gbk.txt -o big5.txt

失败报错

iconv:illeagal input sequence at positon 2

根据错误提示，是由于“欢”字导致转换失败的。

其GBK编码为BBB6，对应的繁体“歡”，GBK编码为9A67，BIG5编码为C577。

iconv在进行编码转换时输入GBK编码为BBB6的“欢”，其在BIG5中没有对应的编码，会导致转换失败。

如果是对GBK编码为9A67的“歡”进行到BIG5的转换，则会成功转换为C577。

创建gbk_1.txt，内容如下

喜歡德芙

执行

iconv -f gbk -t big5 gbk_1.txt -o big5.txt

可以成功的通过iconv完成到big5的编码转换。

对于GB2312，它是GBK的子集，“欢”字在GB2312中的编码与GBK中相同都为BBB6。因为GB2312中不包含“歡”字，所以将“欢”字的源编码指定为GB2312，可以成功转换为BIG5编码。执行

iconv -f gb2312 -t big5 gbk.txt -o big5.txt

繁简转换则是一个更为复杂的问题，包括GB2312到BIG5的转换、GBK内部简繁之间的转换，还存在一个简体字对应多个繁体字情况，例如

干字对应三个汉字：(干)涉，(乾)燥，(幹)部

后字对应两个汉字：(後)面，皇(后)

结论：

1、 GB2312中的字符可以转换到BIG5；

2、 GBK中同时存在简繁体的汉字，简体字向BIG5转换不会成功；

3、 GBK到BIG5的编码转换不等价于简繁转换，GBK中也有繁体字；

4、简->繁困难，繁->简容易；

中文编码转换的可行性

GBK->Unicode,Big5-Unicode （总是OK）
Unicode->GBK (当里面仅包含英文及简体时OK)
Unicode->BIG5 (当里面仅包含英文及繁体时OK)
GBK->Big5 (基本上不行，除非某些字没有特别的简体字)
GBK->Big5是汉字的简繁转换
GB2312->BIG5（多数OK）

另附GBK繁简转换码表

下载地址：

http://download.csdn.net/detail/littlefang/8460263

参考

http://zhidao.baidu.com/question/162366537.html 中tobyliu415的回答

《一个简化字对应两个或多个繁体字的情况》http://wenku.baidu.com/link?url=vhQELM2h2-x_1yDoyf8hB1Rf6O638anAy5x07IpE783FHNUTen8HyqG7DIhMcH4sh7i5kDvouOC-Xo4oBnqkW6nlkBIWPMfNst7bjqOPeWG

BIG5内码表 http://www.me.tnu.edu.tw/~me006/vb/tutor/r05/index.htm

《GBK,BIG5等字符集编码范围的具体说明》 http://www.cnblogs.com/chenwenbiao/archive/2011/09/16/2178372.html

《iconv遇到无法转码的字符时中断内容丢失及解决方法》http://www.zoneself.org/2012/02/21/content_653.html

使用iconv进行GBK到BIG5编码转/简繁转换遇到的问题相关推荐

php文件在线编码转换,gbk编码在线转换_php汉字转码 GBK到Big5编码转换
摘要腾兴网为您分享:php汉字转码 GBK到Big5编码转换,月星家居,永辉生活,一点开,幸福钱庄等软件知识,以及酷我音乐车机,爱情电影网影音,杜比音效,微信制作宣传广告,dolbyadvanced ...
CVCode简繁转换的扩展：GBK与Big5转换
CVCode使用码表对照的方式实现简繁转换,在Unicode盛行的今天仍然是有其现实意义的. 较常见的应用是,企业内有台籍员工,也有大陆员工,而且简体和繁体的OS都有使用,这样在MIS系统中如何保 ...
php文件在线编码转换,php汉字转码 GBK到Big5编码转换
php如何实现汉字编码转换,有关php汉字转码的例子. 有两点要注意: 1,GBK的繁体字并不是Big5,但一般繁体字都有对应的Big码. 2,一GBK码并不一定有对应的Big5码,所以一般是不可逆转 ...
UTF-8、GB2312、GB18030、GBK和BIG5等字符集编码范围的具体说明
一预备知识 1,字符:字符是抽象的最小文本单位. 它没有固定的形状(可能是一个字形),而且没有值. "A"是一个字符,""(德国.法国和许多其他欧洲国家通用货 ...
关于utf-8和big5编码的问题
数据库是mysql,数据存储编码是utf-8,页面编码是big5 现在前台程序通过函数iconv("UTF-8","big5",$str)来转换时,有的简体字如 ...
C#_汉字与GBK,Unicode,UTF-8编码之间的转换
IT发展至今,字符编码版本众多,目前流行的GBK,Unicode,UTF-8编码与汉字的转换可用如下代码: private void button1_Click(object sender, Even ...
GBK、Shift-JIS、BIG5编码检测算法
GBK.Shift-JIS.BIG5编码检测算法字符串的编码检测需要使用自定义的映射表,使用系统自带的Codepage是不大可能有准确率的,系统Codepage会将它所有没定义的字符映射为空格. G ...
GB2312、GBK、BIG5、Unicode及字符编码基础知识
GB2312.GBK.BIG5.Unicode及字符编码基础知识在搜狗的设置里面有个选项,要用户选择使用GBK还是GB2312,论坛里面常常有人要求输入法支持BIG5编码,也有人提到 Unicode ...
mysql把latin1编码的中文转成gbk(或utf8)编码
很多项目在初建时由于工程师不严谨或者水平不够选用了错误的数据库编码,用latin1编码存储中文数据,随着项目复杂程度提高,会出现各种编码问题,可以说是后患无穷,经过反复测试,我总结出一个办法可以把la ...
下载论坛源码GBK UTF8 BIG5分别是什么意思
下载论坛源码GBK UTF8 BIG5分别是什么意思? 提问者:ly1987520 | 浏览次数:4010次下载论坛源码简体中文GBK 简体中文UTF8 繁体中文BIG5 分别是什么意思?他们的区别 ...

使用iconv进行GBK到BIG5编码转/简繁转换遇到的问题

使用iconv进行GBK到BIG5编码转/简繁转换遇到的问题相关推荐

最新文章

热门文章