使用python实现GBK转unicode码查询表

接触python有一段时间了，但没有专门学习基础知识，写代码时总是到网上找资料。不过，相信经过练习可以慢慢积累。本文拿以前写的小程序练手。参见文章《GBK转unicode码查询表的改进》。

涉及python知识：

1、先初始化好一个65535大小的列表。开始我想直接定义buffer = [65535]，但这和C的不同，所以使用append方式初始化0——因为这样才生成65535个列表。

2、由于GBK编码索引不连续，所以使用buffer[x2] = x1这种形式赋值。开始使用insert方式，但结果不正确。

源码如下：

#!/usr/bin/python
# encoding: utf-8import os
import datetime
import timeSRC = "gbkuni30.txt"
DST = "gbkuni30_gen1.h"
ARRAY = "gbkuni30"buffer = [] # 空列表
max_num = 0# 初始化好buffer，一共65535
for i in range(0, 65535):buffer.append(0x0)try:f = open(SRC, 'r')while True:l = f.readline()if l == '':break;s = l.strip().split(':') #以:分割，生成不同个数的列表if len(s) == 2:x1 = int(s[0], 16) # 字符串转换为十六进制x2 = int(s[1], 16)buffer[x2] = x1 # 针对索引赋值if x2 > max_num:max_num = x2#print("%04x %04x" % (x2, x1))print("max num %d %x len: %d" % (max_num, max_num, len(buffer)))
except:raisef = open(DST, "w")test = "/**********************************************************************************/\n"
test += "/* GBK(GB18030) to UNICODE table, powered by Late Lee */\n"
test += "/* http://www.latelee.org */\n"
test += "/* %s */\n" % (datetime.datetime.now())
test += "/* The source file comes from: */\n"
test += "/* http://icu-project.org/repos/icu/data/trunk/charset/source/gb18030/gbkuni30.txt*/\n"test += "/**********************************************************************************/\n"test += "#ifndef __GBK2UNICODE__H\n"
test += "#define __GBK2UNICODE__H\n\n"test += "static unsigned short %s[] = \n{\n" % (ARRAY)f.write(test) # write text to file
####
cnt=0
for i in range(0x8140, max_num+1):#print("%x -- 0x%x" % (i, buffer[i]))ch = "0x%04x, " % (buffer[i])f.write(ch)cnt+=1;if cnt % 10 == 0:tmp = " // line num %d \n" % (cnt / 10 - 1)f.write(tmp)########
test= "\n"
test+= "};\n\n"
test+= "#endif //__GBK2UNICODE__H\n"f.write(test) # write text to file
f.close()

生成的头文件与使用C版本实现的一致。

李迟 2015.1.15 周日中午

使用python实现GBK转unicode码查询表相关推荐

GBK转unicode码查询表的改进
上篇文章<GBK转unicode码查询表>中有一个美中不足的地方,就是占用的内存空间稍大了一点,约128KB,当然,对于PC这种平台无所谓,但对于一些场合来说,能省内存就省内存,何况那个表 ...
GBK转unicode码查询表
大约大半年前完成一个矢量字库类,使用freetype库从矢量字库中读取字符轮廓,然后转成只有0.1的缓冲区,可以使用许多场合.涉及了freetype的操作,同时还有字符编码方面的知识.前不久,有同事反 ...
python返回unicode_Python 中通过 unicode 码返回单字符的函数是 ,返回单字符 unicode 码的函数是。_学小易找答案...
[单选题]哪一个命令能用来查找在文件TESTFILE中只包含四个字符的行?( ) [单选题]修改以太网卡mac地址的命令为( ). [单选题]Python 字符串支持切片操作,如有字符串 s &quo ...
关于Python ord()和chr()返回ASCII码和Unicode码的看法
刚开始学这两个函数的时候,看到书上说的是返回Unicode码, 但是自己去百度之后,发现很多人都说返回是ASCII码为什么会这样呢? 那么为了不误解 ,我们先介绍下Unicode码和ASCII码 A ...
汉字编码（【Unicode】【UTF-8】【Unicode与UTF-8之间的转换】【汉字 Unicode 编码范围】【中文标点Unicode码】【GBK编码】【批量获取汉字UNICODE码】）
参考博客: Unicode与UTF-8互转(C语言实现):http://blog.csdn.net/tge7618291/article/details/7599902 汉字 Unicode 编码范围 ...
python初级6（九九乘法表，二进制，ASCII编码，GBK，unicode,utf-8）
九九乘法表 for i in range(1,10):for j in range(1,i+1):print(f"{i}*{j} == {i*j}",end=" &quo ...
[编码]ASCII、GBK、Unicode(万国码) 和 UTF-8
American ASCII编码 (American Standard Code for Information Interchange,美国信息互换标准代码) China gbk编码 ...
python字符编码转换_Python字符和字符值(ASCII或Unicode码值)转换方法
目的将一个字符转化为相应的ASCII或Unicode码,或相反的操作. 方法对于ASCII码(0~255范围) 代码如下: >>> print ord('A') 65 >& ...
python将数据保存为json文件时，打开json文件里面的中文发现是unicode码
最近要将爬取的数据通过json.dump处理后保存成json文件,程序一切运行正常,但是打开保存之后的json文件发现除了字母,原来的字典数据里面的中文全部变成了unicode 码,像下面这个样子 ...

使用python实现GBK转unicode码查询表

使用python实现GBK转unicode码查询表相关推荐

最新文章

热门文章