文本分析-全角字符串与半角字符串的转换

最近在做文本分析与挖掘时，涉及到了全角字符串与半角字符串的转换问题。在文本处理的相关问题上，半角和全角字符通常是数据预处理的必要过程，在此做个学习总结。

全角指的是一个字符占2个标准字符的位置（例如中国汉字）。
半角指的是占1个标准字符的位置（例如普通的字符a）。

全角字符包含两类字符：

特殊字符：空格，它的全角值十进制整数为12288，十六进制为0x3000，而其半角十进制整数值为32，十六进制结果为0x20.
有规律的字符，这类字符的全角十进制整数范围为[65281,65374]，十六进制[0xFF01,0xFF5E]，半角十进制整数值[33,126]，十六进制[0x21,0x7E].

除了空格外，有规律的字符在半角和全角之间的差值为65248，因此我们可以直接在全角数值上减去65248即可得到半角数值。

例如，全角字符串“0 0 5 2 7 8 2 5 C B D”转换为半角字符串的结果是“00527825CBD”。

注意：
并不是所有的全角字符都能被转换为半角字符，例如汉字是全角字符，占2个字符的位置，但它无法被转换；只有英文字母、数字键、符号键等才能可以做全角和半角之间的转换。

文本分析-全角字符串与半角字符串的转换相关推荐

Java 全角字符转半角字符(icu的Transliterator使用)
Java 全角字符转半角字符互相转换. 可以直接实现,也可以直接用jar包有ICU包直接用就好 <dependency><groupId>com.ibm.icu</g ...
php字符串里含有全角符号,php将字符串中全角字符转换为半角字符_PHP教程
php将字符串中全角字符转换为半角字符 php将字符串中全角字符转换为半角字符,摘自ecshop. /** * 将一个字串中含有全角的数字字符.字母.空格或'%+-()'字符转换为相应半角字符 * @ ...
去掉字符串两端的全角空格和半角空格（含源代码）
昨天,遇到了一个技术问题.本来我在程序中用的trim()方法来处理从JSP页面传来的值,后来在测试时,发现当我输入的是全角空格时,trim()方法失效. 需求是这样的,只是去掉字符串两端的空格(不论是 ...
java 正则表达式替换多个全角空格为一个半角空格_去掉字符串两端的全角空格和半角空格（含源代码）...
昨天,遇到了一个技术问题.本来我在程序中用的trim()方法来处理从JSP页面传来的值,后来在测试时,发现当我输入的是全角空格时,trim()方法失效. 需求是这样的,只是去掉字符串两端的空格(不论是 ...
python匹配文本中全角符号的两种方法
在对文本进行处理的时候经常会遇见要对括号和标点进行匹配常见的英文(半角)符号如( ) 直接用正则匹配即可但是遇见全角字符(中文括号.标点),直接用正则匹配会存在问题: 因为编码通常为为utf8,若 ...
java全角字符转换为半角半角转全角
/// <summary>/// 判断字符是否英文半角字符或标点/// </summary>/// <remarks>/// 32 空格/// 33-47 标点// ...
java 全角字符转半角字符
public class Test { public static void main(String[] args) { String t="■ ■ffac●●△※○○☆№ccc" ...
全角字符和半角字符的概念
1. 什么是全角和半角? 全角–指一个字符占用两个标准字符位置. 汉字字符和规定了全角的英文字符及国标GB2312-80中的图形符号和特殊字符都是全角字符.一般的系统命令是不用全角字符的,只是在作文字 ...
C#实现全角字符和半角字符转换
本文转自: http://blog.csdn.net/wangchao1982/article/details/1857444,写的很好,直接转了,谢谢! 很多的朋友都在学习和工作中遇到过全角和半角的 ...
word如何删除空行和全角空格_Word批量删除空格（全角空格、半角空格、不间断空格、制表符空格）的技巧-word技巧-电脑技巧收藏家...
Word批量删除空格(全角空格.半角空格.不间断空格.制表符空格)的技巧从网页中复制过来的文字中会有许多的空段和空格,在Word中排版时也需要清除.那么为什么这一步要删除空格,而不是先删除空段呢?道 ...

文本分析-全角字符串与半角字符串的转换

最近在做文本分析与挖掘时，涉及到了全角字符串与半角字符串的转换问题。在文本处理的相关问题上，半角和全角字符通常是数据预处理的必要过程，在此做个学习总结。

文本分析-全角字符串与半角字符串的转换相关推荐

最新文章

热门文章