python 全角半角字符转换

文章目录

1.相关原理
2. 相关代码
- 2.1 全角转半角
- 2.2 半角转全角
- 2.3 自定义转换
- 2.4 demo
参考文献

1.相关原理

全角即：Double Byte Character，简称DBC
半角即：Single Byte Character，简称SBC
在 windows 中，中文和全角字符都占两个字节，并且使用了 ascii　chart 2 (codes 128–255)；
全角字符的第一个字节总是被置为 163，而第二个字节则是相同半角字符码加上128（不包括空格，全角空格和半角空格也要考虑进去）；
对于中文来说，它的第一个字节被置为大于163，如’阿’为:176 162，检测到中文时不进行转换。
例如：半角 a 为 65，则全角 a 是 163（第一个字节）、193（第二个字节，128+65）。

具体规则为：

全角字符unicode编码从65281~65374 （十六进制 0xFF01 ~ 0xFF5E）
半角字符unicode编码从33~126 （十六进制 0x21~ 0x7E）
空格比较特殊，全角为 12288（0x3000），半角为 32（0x20）
而且除空格外，全角/半角按unicode编码排序在顺序上是对应的（半角 + 65248 = 全角）

所以可以直接通过用±法来处理非空格数据，对空格单独处理。

用到的一些函数

chr()函数用一个范围在range（256）内的（就是0～255）整数作参数，返回一个对应的字符。
unichr()跟它一样，只不过返回的是Unicode字符。
ord()函数是chr()函数或unichr()函数的配对函数，它以一个字符（长度为1的字符串）作为参数，返回对应的ASCII数值，或者Unicode数值。
下面做个试验：

for i in xrange(33,127):print i,chr(i),i+65248,unichr(i+65248)

结果如下：

33 ! 65281 ！
34 " 65282 ＂
35 # 65283 ＃
36 $ 65284 ＄
37 % 65285 ％
38 & 65286 ＆
39 ' 65287 ＇
40 ( 65288 （
41 ) 65289 ）
42 * 65290 ＊
43 + 65291 ＋
44 , 65292 ，
45 - 65293 －
46 . 65294 ．
47 / 65295 ／
48 0 65296 ０
49 1 65297 １
50 2 65298 ２
51 3 65299 ３
52 4 65300 ４
53 5 65301 ５
54 6 65302 ６
55 7 65303 ７
56 8 65304 ８
57 9 65305 ９
58 : 65306 ：
59 ; 65307 ；
60 < 65308 ＜
61 = 65309 ＝
62 > 65310 ＞
63 ? 65311 ？
64 @ 65312 ＠
65 A 65313 Ａ
66 B 65314 Ｂ
67 C 65315 Ｃ
68 D 65316 Ｄ
69 E 65317 Ｅ
70 F 65318 Ｆ
71 G 65319 Ｇ
72 H 65320 Ｈ
73 I 65321 Ｉ
74 J 65322 Ｊ
75 K 65323 Ｋ
76 L 65324 Ｌ
77 M 65325 Ｍ
78 N 65326 Ｎ
79 O 65327 Ｏ
80 P 65328 Ｐ
81 Q 65329 Ｑ
82 R 65330 Ｒ
83 S 65331 Ｓ
84 T 65332 Ｔ
85 U 65333 Ｕ
86 V 65334 Ｖ
87 W 65335 Ｗ
88 X 65336 Ｘ
89 Y 65337 Ｙ
90 Z 65338 Ｚ
91 [ 65339 ［
92 \ 65340 ＼
93 ] 65341 ］
94 ^ 65342 ＾
95 _ 65343 ＿
96 ` 65344 ｀
97 a 65345 ａ
98 b 65346 ｂ
99 c 65347 ｃ
100 d 65348 ｄ
101 e 65349 ｅ
102 f 65350 ｆ
103 g 65351 ｇ
104 h 65352 ｈ
105 i 65353 ｉ
106 j 65354 ｊ
107 k 65355 ｋ
108 l 65356 ｌ
109 m 65357 ｍ
110 n 65358 ｎ
111 o 65359 ｏ
112 p 65360 ｐ
113 q 65361 ｑ
114 r 65362 ｒ
115 s 65363 ｓ
116 t 65364 ｔ
117 u 65365 ｕ
118 v 65366 ｖ
119 w 65367 ｗ
120 x 65368 ｘ
121 y 65369 ｙ
122 z 65370 ｚ
123 { 65371 ｛
124 | 65372 ｜
125 } 65373 ｝
126 ~ 65374 ～

2. 相关代码

2.1 全角转半角

def full2half(s):n = []s = s.decode('utf-8')for char in s:num = ord(char)if num == 0x3000:num = 32elif 0xFF01 <= num <= 0xFF5E:num -= 0xfee0num = unichr(num)n.append(num)
return ''.join(n)

2.2 半角转全角

def half2full(s):n = []s = s.decode('utf-8')for char in s:num = char(char)if num == 320:num = 0x3000elif 0x21 <= num <= 0x7E:num += 0xfee0num = unichr(num)n.append(num)
return ''.join(n)

2.3 自定义转换

上面的实现方式非常的简单，但是现实情况下可能并不会把所以的字符统一进行转换，比如中文文章中我们期望将所有出现的字母和数字全部转化成半角，而常见标点符号统一使用全角，上面的转化就不适合了。解决方案，是自定义词典。

#!/usr/bin/env python
# -*- coding: utf-8 -*-FH_SPACE = FHS = ((u"　", u" "),)
FH_NUM = FHN = ((u"０", u"0"), (u"１", u"1"), (u"２", u"2"), (u"３", u"3"), (u"４", u"4"),(u"５", u"5"), (u"６", u"6"), (u"７", u"7"), (u"８", u"8"), (u"９", u"9"),
)
FH_ALPHA = FHA = ((u"ａ", u"a"), (u"ｂ", u"b"), (u"ｃ", u"c"), (u"ｄ", u"d"), (u"ｅ", u"e"),(u"ｆ", u"f"), (u"ｇ", u"g"), (u"ｈ", u"h"), (u"ｉ", u"i"), (u"ｊ", u"j"),(u"ｋ", u"k"), (u"ｌ", u"l"), (u"ｍ", u"m"), (u"ｎ", u"n"), (u"ｏ", u"o"),(u"ｐ", u"p"), (u"ｑ", u"q"), (u"ｒ", u"r"), (u"ｓ", u"s"), (u"ｔ", u"t"),(u"ｕ", u"u"), (u"ｖ", u"v"), (u"ｗ", u"w"), (u"ｘ", u"x"), (u"ｙ", u"y"), (u"ｚ", u"z"),(u"Ａ", u"A"), (u"Ｂ", u"B"), (u"Ｃ", u"C"), (u"Ｄ", u"D"), (u"Ｅ", u"E"),(u"Ｆ", u"F"), (u"Ｇ", u"G"), (u"Ｈ", u"H"), (u"Ｉ", u"I"), (u"Ｊ", u"J"),(u"Ｋ", u"K"), (u"Ｌ", u"L"), (u"Ｍ", u"M"), (u"Ｎ", u"N"), (u"Ｏ", u"O"),(u"Ｐ", u"P"), (u"Ｑ", u"Q"), (u"Ｒ", u"R"), (u"Ｓ", u"S"), (u"Ｔ", u"T"),(u"Ｕ", u"U"), (u"Ｖ", u"V"), (u"Ｗ", u"W"), (u"Ｘ", u"X"), (u"Ｙ", u"Y"), (u"Ｚ", u"Z"),
)
FH_PUNCTUATION = FHP = ((u"．", u"."), (u"，", u","), (u"！", u"!"), (u"？", u"?"), (u"”", u'"'),(u"’", u"'"), (u"‘", u"`"), (u"＠", u"@"), (u"＿", u"_"), (u"：", u":"),(u"；", u";"), (u"＃", u"#"), (u"＄", u"$"), (u"％", u"%"), (u"＆", u"&"),(u"（", u"("), (u"）", u")"), (u"‐", u"-"), (u"＝", u"="), (u"＊", u"*"),(u"＋", u"+"), (u"－", u"-"), (u"／", u"/"), (u"＜", u"<"), (u"＞", u">"),(u"［", u"["), (u"￥", u"\\"), (u"］", u"]"), (u"＾", u"^"), (u"｛", u"{"),(u"｜", u"|"), (u"｝", u"}"), (u"～", u"~"),
)
FH_ASCII = HAC = lambda: ((fr, to) for m in (FH_ALPHA, FH_NUM, FH_PUNCTUATION) for fr, to in m)HF_SPACE = HFS = ((u" ", u"　"),)
HF_NUM = HFN = lambda: ((h, z) for z, h in FH_NUM)
HF_ALPHA = HFA = lambda: ((h, z) for z, h in FH_ALPHA)
HF_PUNCTUATION = HFP = lambda: ((h, z) for z, h in FH_PUNCTUATION)
HF_ASCII = ZAC = lambda: ((h, z) for z, h in FH_ASCII())def convert(text, *maps, **ops):""" 全角/半角转换args:text: unicode string need to convertmaps: conversion mapsskip: skip out of character. In a tuple or stringreturn: converted unicode string"""if "skip" in ops:skip = ops["skip"]if isinstance(skip, basestring):skip = tuple(skip)def replace(text, fr, to):return text if fr in skip else text.replace(fr, to)else:def replace(text, fr, to):return text.replace(fr, to)for m in maps:if callable(m):m = m()elif isinstance(m, dict):m = m.items()for fr, to in m:text = replace(text, fr, to)return textif __name__ == '__main__':text = u"成田空港—【ＪＲ特急成田エクスプレス号・横浜行，2站】—東京—【ＪＲ新幹線はやぶさ号・新青森行,6站 】—新青森—【ＪＲ特急スーパー白鳥号・函館行，4站 】—函館"print convert(text, FH_ASCII, {u"【": u"[", u"】": u"]", u",": u"，", u".": u"。", u"?": u"？", u"!": u"！"}, spit="，。？！“”")

2.4 demo

fin = open("foward_standard.log",'r')
fout = open("foward_standard2.log",'w')lines = fin.readlines()def strB2Q(ustring):""""""ustring = ustring.decode('gb18030')rstring = ""for uchar in ustring:inside_code = ord(uchar)if inside_code == 32:inside_code = 32#12288elif inside_code >= 32 and inside_code <= 126:inside_code += 65248rstring += unichr(inside_code)#rstring.encode('gb18030')return rstringdef transferStr(ustring):#ustring = ustring.decode('gb18030')try:rstring = ""for uchar in ustring:inside_code=ord(uchar)if inside_code == 0x0020 or inside_code==0x3000 or inside_code==0x003f or inside_code==0xff1f:inside_code = 63elif inside_code == 12288:inside_code = 32elif (inside_code >= 65281 and inside_code <= 65374):inside_code -= 65248rstring += unichr(inside_code)rstring = rstring.lower()return rstring.encode('gb18030')except:ustring = ustring.lower()return ustring.encode('gb18030')import sys
reload(sys)
sys.setdefaultencoding('utf-8')for line in lines:fout.write((strB2Q(line.split("\t")[0])+'\t'+line.split("\t")[1]).encode("gb18030"))

参考文献

使用Python对全角字符半角字符互转
python3实现全角和半角字符转换的方法示例
python实现全角半角的相互转换

python 全角半角字符转换相关推荐

java 全角_java 全角半角字符转换的方法实例
这篇文章主要介绍了java 全角半角字符转换的方法,大家参考使用吧如果搞明白了Java中全角字符和半角字符之间的关系那他们之间的转换根本就不是个事. 可以通过下面的程序看看Java中所有字符以及对 ...
python全角半角的相互转换
# 转换说明 # 全角半角转换说明 # 有规律(不含空格): # # 全角字符unicode编码从65281~65374 (十六进制 0xFF01 ~ 0xFF5E) # 半角字符unicode编码从 ...
java中全角半角字符的相互转换
package com.whatycms.common.util;import org.apache.commons.lang.StringUtils;/*** <PRE>* 提供对字符串 ...
java全角半角标点符号转换
早上发现某个群居然爆出一个bug,上游系统存储的客户简称是商务人员自己填的,这个字段支持用户录入各种字符.但是下游对接的其他系统,在将这个字段应用到系统中的时候,不能支持全角的标点符号,如果这个字段有 ...
php区分全角半角字符,php如何判断是字符串全角还是半角
php如何判断是字符串全角还是半角关注:168 答案:2 手机版解决时间 2021-01-15 16:08 提问者夏日╮悲歌 2021-01-15 00:27 php如何判断是字符串全角还是半 ...
中英文全角半角括号转换
Java中文的全角半角以及英文的全角括号都是相同的,但是都和英文半角括号不相同,这个要注意一下.下面是通过维护两个字符数组完成字符替换 String s = "()";String ...
java处理全角半角字符问题
1.全角:指一个字符占用两个标准字符位置. 汉字字符和规定了全角的英文字符及国标GB2312-80中的图形符号和特殊字符都是全角字符.一般的系统命令是不用全角字符的,只是在作文字处理时才会使用全角字符 ...
Java全角半角的转换
一.中文全角和半角输入的区别在计算机屏幕上,一个汉字要占两个英文字符的位置,人们把一个英文字符所占的位置称为"半角",相对地把一个汉字所占的位置称为"全角". ...
Windows10系统自带输入法如何切换全角/半角字符
有些时候因为测试需要,所以需要区分输入的全角字符和半角字符. 全角字符是指一个字符占据俩个标准字符的位置. 半角字符是指一个字符占据一个标准字符的位置. 一个字符是一个字节. 一个字节是8个比特位. ...