韩文unicode编解码

问题是这样，工作中遇到有韩文数据出现乱码，说是unicode码。

类似这样：

id name323 52186863

149 63637538

314 65516863

322 69826863

290 83645668

355 724851956025

397 724862416863

246 9152960052007500

203836473ab53868350762421673ab5676538683507624183845b6863553198ce78d02694e54554a5e9c1604e5e5e9c1074e5e73ab854e5e76d47eca52a0686380ba3364e5e90f45f004644e5e90f460bc2894e5e9f8b5e9c4304eb260bc2964eb268632664ed85398529b635e80cc4284ed873ab60bc3104ed873ab80cc2124ed880ba79e63124ef691dc2914ef74e5e3244ef74ffa2444ef7541d5e9c2494ef7541d5e9c2474ef760d15e9c2504ef760d15e9c1834ef762cc5e9c3494ef768631514ef7699c2394ef76ca55e9c3484ef773ab2514ef77a8d5e9c2524ef7854a5e9c4494ef791dc5e9c3504ef79b425e9c3444f194ed85e9c3124f194ed868631914f194ed89b422484f195cbf5e9c2884f195df180cc2984f1968634524f1983e960bc394f555088788d36 4f555088788d538683507624

数据示例

在unicode中，每个韩文字符包含两个字节，四位16进制表示，下面验证一下：

linux，python2.7

>>> '전라남도'      #查看韩文字符串，每个韩文字符占3个字节(在utf-8编码下)

'\xec\xa0\x84\xeb\x9d\xbc\xeb\x82\xa8\xeb\x8f\x84'

>>> len('전라남도')

12

>>> '전라남도'.decode('utf-8')  #将韩文字符串按照utf-8解码为unicode

u'\uc804\ub77c\ub0a8\ub3c4'

>>> len('전라남도'.decode('utf-8'))

4

>>> u'전라남도'                 #系统默认将按照utf-8解码

u'\uc804\ub77c\ub0a8\ub3c4'

>>> len(u'전라남도')

4

----------------------因此把上述字符串转换为unicode----------------

>>> kr_code='4f555088788d538683507624'

>>> kr_len=len(kr_code)/4

>>> str_kr=''

>>> for i in range(kr_len):                 #16进制分组

...   str_kr=str_kr+ '\u'+kr_code[i*4:i*4+4]

...

>>> str_kr

'\\u4f55\\u5088\\u788d\\u5386\\u8350\\u7624'

>>> kr_tmp=str_kr.decode('unicode-escape')  #转换为对应的unicode

>>> kr_tmp

u'\u4f55\u5088\u788d\u5386\u8350\u7624'

>>>

----------------------将unicode按照utf-8编码----------------------

>>> print kr_tmp                            #打印输出(linux默认按照utf-8编码)

何傈碍历荐瘤

>>> kr_tmp.encode('utf-8')                  #按照utf-8编码，打印输出，

'\xe4\xbd\x95\xe5\x82\x88\xe7\xa2\x8d\xe5\x8e\x86\xe8\x8d\x90\xe7\x98\xa4'

>>> print '\xe4\xbd\x95\xe5\x82\x88\xe7\xa2\x8d\xe5\x8e\x86\xe8\x8d\x90\xe7\x98\xa4'

何傈碍历荐瘤

>>> '何傈碍历荐瘤'

'\xe4\xbd\x95\xe5\x82\x88\xe7\xa2\x8d\xe5\x8e\x86\xe8\x8d\x90\xe7\x98\xa4'

----------------------将unicode按照韩文EUC_KR编码----------------------

what？为甚么不是韩文，看来并不是utf-8编码，猜测韩文编码EUC_KR，试一下

>>> kr_tmp.encode(encoding='EUC_KR')

Traceback (most recent call last):

File "", line 1, in

UnicodeEncodeError: 'euc_kr' codec can't encode character u'\u5088' in position 1: illegal multibyte sequence

----------------------将unicode按照中文GB18030编码----------------------

>>> #并不是，打印出汉字，难道是汉字编码？

>>> gb_str=kr_tmp.encode(encoding='GB18030') #按照GB18030编码

>>> print gb_str

>>> gb_str

'\xba\xce\xc0\xfc\xb0\xad\xc0\xfa\xbc\xf6\xc1\xf6'

>>> print gb_str                             #linux下按照utf-8无法编码

������������

>>> gb_str=kr_tmp.encode(encoding='GBK')     #按照GBK编码，与GB18030兼容，在window下显示为中文(GBK)

>>> gb_str

'\xba\xce\xc0\xfc\xb0\xad\xc0\xfa\xbc\xf6\xc1\xf6'

>>> print gb_str                             #linux下按照utf-8无法编码，在window下显示为中文(GBK)

������������

----------------------将unicode按照中文GB18030编码----------------------

>>> kr_str=gb_str.decode('EUC_KR')           #按照EUC_KR编码

>>> kr_str

u'\ubd80\uc804\uac15\uc800\uc218\uc9c0'

>>> print kr_str                             #终于输出了韩文

부전강저수지

>>>

总结:

对unicode按照GB18030进行了编码====>>按照EUC_KR进行了解码====>>输出了韩文字符串

分析一下其原始unicode的产生过程：

韩文字符串====>>按照EUC_KR进行了编码====>>按照GB18030进行了解码====>>unicode

验证一下：

>>> u'부전강저수지'.encode('EUC_KR').decode(encoding='GBK')

u'\u4f55\u5088\u788d\u5386\u8350\u7624'

>>> print u'부전강저수지'.encode('EUC_KR').decode(encoding='GBK')

何傈碍历荐瘤

>>> kr_tmp

u'\u4f55\u5088\u788d\u5386\u8350\u7624'

>>>

最后：

当外文不能正常显示，显示为乱码(中文)，有可能就是编码错误，本篇解决了韩文错误显示成中文的问题。

>>> text=u'捞抚绝澜'.encode('GB18030').decode('euc_kr')

>>> text

u'\uc774\ub984\uc5c6\uc74c'

>>> print text             #unicode

이름없음

>>> u_text= u'捞抚绝澜'.encode('gbk').decode('euc_kr').encode('utf-8')

>>> u_text

'\xec\x9d\xb4\xeb\xa6\x84\xec\x97\x86\xec\x9d\x8c'

>>> print u_text         #str

이름없음