Java Character 实现Unicode字符集介绍  CJK中文字符和中文标点判断

主要内容：

1. Java Character类介绍；

2. Unicode 简介及 UnicodeBlock 与 UnicodeScript区别和联系

3. 如何判断汉字及中文标点符号

做中文信息处理，经常会遇到如何判断一个字是否是中文，或者是否是中文的标点符号等。

在Java中，主要使用 Character类处理字符有关功能，而JDK 1.7中Character是按照Unicode 6.0版本实现的，所以这个要先学习下常用的 Unicode编码。

具体的定义、历史等请见 wikiwikipedia

Character 类中有3个静态内部类，

Modifier and Type http://http://www.cnblogs.com/zztt/admin/EditPosts.aspx?opt=1www.cnblogs.com/zztt/admin/EditPosts.aspx?opt=1Class and Description
static class  Character.Subset

Instances of this class represent particular subsets of the Unicode character set.
static class  Character.UnicodeBlock

A family of character subsets representing the character blocks in the Unicode specification.
static class  Character.UnicodeScript

A family of character subsets representing the character scripts defined in the Unicode Standard Annex #24: Script Names.

其中的UnicodeBlock 和 UnicodeScript类可以帮助我们判断字符类型，

UnicodeBlock是Unicode标准协会组织unicode码的一个基本单位，实际上一个 UnicodeBlock代表一片连续的Unicode号码段，UnicodeBlock之间不重叠。例如，通常我们利用Unicode编码是否在 0x4E00–0x9FCC 来判断某字符是否为汉字，就是因为，有个UnicodeBlock 专门划分为存储汉字 (准确的说是 CJK统一汉字)，这个UnicodeBlock叫做 CJK Unified Ideographs，总共定义了 74,617 个汉字。

当然还有其他很多UnicodeBlock，例如，对于汉字还有4个扩展 UnicodeBlock，CJK Unified Ideographs Extension A, B, C, D 分别都扩展了一些我们平时见都没见过的汉字(如果不是专门的古籍数字化，Unicode字符集中的汉字普通交流够了)

Unicode中一种Script通常就是一个字符或者其他书写符号的集合，代表着一种或多种writing systems （这里暂且翻译为文书类型，文书类型细分可以分成不同语言)。有些Script仅支持一种文字类型，有些可以支持多种，例如 Latin Script 支持 supports English, French, German, Italian, Vietnamese, Latin 等等，具体可见wikipedia，

http://en.wikipedia.org/wiki/Scripts_in_Unicode

UnicodeBlock 与 UnicodeScript 关系：

所以UnicodeScript 是从语言书写规则层次对Unicode字符的分类，这是用使用角度划分，而UnicodeBlock是从硬的编码角度划分。

1. UnicodeBlock是简单的数值范围 (其中可能有些Block中会有一些尚未分配字符的“空号”)。

2. 在一个UnicodeScript中的字符可能分散在多个UnicodeBlock中；

3. 一个UnicodeBlock中的字符可能会被划进多个UnicodeScript中。

另外需要注意的是UnicodeScript实现是在Java 7中新引入的。

具体在编写程序中，可以游2种办法，一是使用 UnicodeBlock，请见代码：

    //使用UnicodeBlock方法判断public boolean isChineseByBlock(char c) {Character.UnicodeBlock ub = Character.UnicodeBlock.of(c);if (ub == Character.UnicodeBlock.CJK_UNIFIED_IDEOGRAPHS|| ub == Character.UnicodeBlock.CJK_UNIFIED_IDEOGRAPHS_EXTENSION_A|| ub == Character.UnicodeBlock.CJK_UNIFIED_IDEOGRAPHS_EXTENSION_B|| ub == Character.UnicodeBlock.CJK_UNIFIED_IDEOGRAPHS_EXTENSION_C|| ub == Character.UnicodeBlock.CJK_UNIFIED_IDEOGRAPHS_EXTENSION_D|| ub == Character.UnicodeBlock.CJK_COMPATIBILITY_IDEOGRAPHS|| ub == Character.UnicodeBlock.CJK_COMPATIBILITY_IDEOGRAPHS_SUPPLEMENT) {return true;} else {return false;}}

或者如果使用JDK1.7，那么UnicodeScript方法会更方便，因为UnicodeScript.HAN 包括了上面所列的5个UnicodeBlock：

    //使用UnicodeScript方法判断public boolean isChineseByScript(char c) {Character.UnicodeScript sc = Character.UnicodeScript.of(c);if (sc == Character.UnicodeScript.HAN) {return true;}return false;}

类似的，扩展开去还可以判别中文标点符号。

因为中文的标点符号主要存在于以下5个UnicodeBlock中，

U2000-General Punctuation (百分号，千分号，单引号，双引号等)

U3000-CJK Symbols and Punctuation ( 顿号，句号，书名号，〸，〹，〺 等；PS: 后面三个字符你知道什么意思吗？ : )    )

UFF00-Halfwidth and Fullwidth Forms ( 大于，小于，等于，括号，感叹号，加，减，冒号，分号等等)

UFE30-CJK Compatibility Forms  (主要是给竖写方式使用的括号，以及间断线﹉，波浪线﹌等)

UFE10-Vertical Forms (主要是一些竖着写的标点符号，    等等)

    // 根据UnicodeBlock方法判断中文标点符号public boolean isChinesePunctuation(char c) {Character.UnicodeBlock ub = Character.UnicodeBlock.of(c);if (ub == Character.UnicodeBlock.GENERAL_PUNCTUATION|| ub == Character.UnicodeBlock.CJK_SYMBOLS_AND_PUNCTUATION|| ub == Character.UnicodeBlock.HALFWIDTH_AND_FULLWIDTH_FORMS|| ub == Character.UnicodeBlock.CJK_COMPATIBILITY_FORMS|| ub == Character.UnicodeBlock.VERTICAL_FORMS) {return true;} else {return false;}}

最后上测试代码：

import java.util.regex.Pattern;/*** author: Tong* Date: 11/16/13* Time: 10:42 PM*/
public class CharClassifier {public static void main(String[] args) {CharClassifier classifier = new CharClassifier();String[] strings = new String[]{"Hello", "你好", "㐀㐂㐄", "にほんご", "조선어",",.?!@#$%^&()", "，。？！＠＃￥％……＆（）"};for (int i = 0; i < strings.length; i++) {String str = strings[i];System.out.println("原字符串为：" + str);char[] chars = str.toCharArray();if (i < 5) {System.out.println("使用0x4E00-0x9FCC范围判断字符是否为汉字：");for (char aChar : chars) {System.out.println(aChar + ":" + (classifier.isChineseByRange(String.valueOf(aChar)) ? "YES" : "NO"));}System.out.println("使用UnicodeBlock方法判断字符是否为汉字：");for (char aChar : chars) {System.out.println(aChar + ":" + (classifier.isChineseByBlock(aChar) ? "YES" : "NO"));}System.out.println("使用UnicodeScript方法判断字符是否为汉字：");for (char aChar : chars) {System.out.println(aChar + ":" + (classifier.isChineseByScript(aChar) ? "YES" : "NO"));}} else {System.out.println("判断是否为中文符号：");for (char aChar : chars) {System.out.println(aChar + ":" + (classifier.isChinesePunctuation(aChar) ? "YES" : "NO"));}}}}//使用UnicodeBlock方法判断public boolean isChineseByBlock(char c) {Character.UnicodeBlock ub = Character.UnicodeBlock.of(c);if (ub == Character.UnicodeBlock.CJK_UNIFIED_IDEOGRAPHS|| ub == Character.UnicodeBlock.CJK_UNIFIED_IDEOGRAPHS_EXTENSION_A|| ub == Character.UnicodeBlock.CJK_UNIFIED_IDEOGRAPHS_EXTENSION_B|| ub == Character.UnicodeBlock.CJK_UNIFIED_IDEOGRAPHS_EXTENSION_C|| ub == Character.UnicodeBlock.CJK_UNIFIED_IDEOGRAPHS_EXTENSION_D|| ub == Character.UnicodeBlock.CJK_COMPATIBILITY_IDEOGRAPHS|| ub == Character.UnicodeBlock.CJK_COMPATIBILITY_IDEOGRAPHS_SUPPLEMENT) {return true;} else {return false;}}//使用UnicodeScript方法判断public boolean isChineseByScript(char c) {Character.UnicodeScript sc = Character.UnicodeScript.of(c);if (sc == Character.UnicodeScript.HAN) {return true;}return false;}// 根据UnicodeBlock方法判断中文标点符号public boolean isChinesePunctuation(char c) {Character.UnicodeBlock ub = Character.UnicodeBlock.of(c);if (ub == Character.UnicodeBlock.GENERAL_PUNCTUATION|| ub == Character.UnicodeBlock.CJK_SYMBOLS_AND_PUNCTUATION|| ub == Character.UnicodeBlock.HALFWIDTH_AND_FULLWIDTH_FORMS|| ub == Character.UnicodeBlock.CJK_COMPATIBILITY_FORMS|| ub == Character.UnicodeBlock.VERTICAL_FORMS) {return true;} else {return false;}}// 使用Unicode编码范围来判断汉字；这个方法不准确,因为还有很多汉字不在这个范围之内public boolean isChineseByRange(String str) {if (str == null) {return false;}Pattern pattern = Pattern.compile("[\\u4E00-\\u9FCC]+");return pattern.matcher(str.trim()).find();}}

程序输出：

原字符串为：Hello
使用0x4E00-0x9FCC范围判断字符是否为汉字：
H:NO
e:NO
l:NO
l:NO
o:NO
使用UnicodeBlock方法判断字符是否为汉字：
H:NO
e:NO
l:NO
l:NO
o:NO
使用UnicodeScript方法判断字符是否为汉字：
H:NO
e:NO
l:NO
l:NO
o:NO
原字符串为：你好
使用0x4E00-0x9FCC范围判断字符是否为汉字：
你:YES
好:YES
使用UnicodeBlock方法判断字符是否为汉字：
你:YES
好:YES
使用UnicodeScript方法判断字符是否为汉字：
你:YES
好:YES
原字符串为：㐀㐂㐄
使用0x4E00-0x9FCC范围判断字符是否为汉字：
㐀:NO
㐂:NO
㐄:NO
使用UnicodeBlock方法判断字符是否为汉字：
㐀:YES
㐂:YES
㐄:YES
使用UnicodeScript方法判断字符是否为汉字：
㐀:YES
㐂:YES
㐄:YES
原字符串为：にほんご
使用0x4E00-0x9FCC范围判断字符是否为汉字：
に:NO
ほ:NO
ん:NO
ご:NO
使用UnicodeBlock方法判断字符是否为汉字：
に:NO
ほ:NO
ん:NO
ご:NO
使用UnicodeScript方法判断字符是否为汉字：
に:NO
ほ:NO
ん:NO
ご:NO
原字符串为：조선어
使用0x4E00-0x9FCC范围判断字符是否为汉字：
조:NO
선:NO
어:NO
使用UnicodeBlock方法判断字符是否为汉字：
조:NO
선:NO
어:NO
使用UnicodeScript方法判断字符是否为汉字：
조:NO
선:NO
어:NO
原字符串为：,.?!@#$%^&()
判断是否为中文符号：
,:NO
.:NO
?:NO
!:NO
@:NO
#:NO
$:NO
%:NO
^:NO
&:NO
(:NO
):NO
原字符串为：，。？！＠＃￥％……＆（）
判断是否为中文符号：
，:YES
。:YES
？:YES
！:YES
＠:YES
＃:YES
￥:YES
％:YES
…:YES
…:YES
＆:YES
（:YES
）:YES

Java 中文字符判断 中文标点符号判断相关推荐

  1. java处理中文字符_Java中文字符处理的四大迷题

    虽然计算机对英文字符的支持非常不错,我们也恨不得写的程序只会处理英文的数据,但是昨为中国人,无可避免地要处理一些中文字符.当很简单的一件事情,遇到了中文,一切就不同了!本文就会讲述实际生产环境中遇到的 ...

  2. MySQL不能插入中文字符及中文字符乱码问题

    MySQL的默认编码是Latin1,不支持中文,要支持中午需要把数据库的默认编码修改为gbk或者utf8. 在安装后MySQL之后,它的配置文件不是很给力,不知道你们的是不是,反正我的是! 开始插入中 ...

  3. qt 判断字符串中是否含有中文字符_Qt 中文字符串问题

    一. Qt5假定的执行字符集是UTF8,不再允许用户擅自改动.这样一来,Qt4中setCodecXXX的各种副作用不再存在,而且中文问题更为简单. QString s1 = "汉语" ...

  4. unicode字符集详解，中文字符范围，标点符号范围等

    经常要使用过滤中文,过滤标点符号之类的正则表达式,这里对查到的字符集返回做个汇总 拉丁文字符 0020-007E,包括常见的数字,英文a-z,A-Z, 一些标点符号,具体参考:https://www. ...

  5. 下列支持mysql中文字符_MySQL中文支持问题

    0. 本文目的 让MySQL支持中文 1. 测试环境 Windows XP sp2,MySQL Server 5.1,MySQL Administrator 1.2.17 2. 操作步骤 1)修改数据 ...

  6. overleaf 罕见中文字符 部分中文字符无法显示

    本人遇到该问题后在网上试过很多方法均无法解决,后来了解到是因为overleaf后端是linux而导致的 可能存在其他更快的方法,但是比较省脑子的办法是将项目完整下载到本地编译,此处推荐一个texwor ...

  7. android 判断是否是标点符号_Java 中文字符判断 中文标点符号判断

    Java Character 实现Unicode字符集介绍  CJK中文字符和中文标点判断 主要内容: 1. Java Character类介绍: 2. Unicode 简介及 UnicodeBloc ...

  8. java中ch或者的符号_java 中文标点符号判断

    背景 最近需要处理一些文本,发现想细化一些分类,以前的知识短板就暴露出来了. 这一篇主要是针对网上的资料收集整理. 偏于以后学习查阅. 中文标点符号判断 Java Character 实现Unicod ...

  9. java 判断 中文字符_java中判断字符串中是否有中文字符

    package com.meritit.test; public class TestChart { public static void main(String[] args) throws Exc ...

最新文章

  1. 基于STC8G8K64U三通道高速ADC采集板
  2. 面试官问我JVM内存结构，我真的是
  3. 第一行代码：以太坊（1）-创建自己的私有区块链
  4. （91）FPGA时钟分频与倍频问题，面试必问（十五）（第19天）
  5. 95-235-065-源码-task-SourceStreamTask
  6. windows安装python库_Windows安装Python机器学习包
  7. 在vb中使用Iphlpapi.dll获取网络信息(下）
  8. 热门事件和书籍中资料管理中国
  9. 结构-行为-样式-有趣的函数
  10. 方维系统登陆弹窗，登陆后自动刷新当前页的实现方法
  11. 亿图图示 软件下载与安装 20200715
  12. 设计模式【2】——责任链模式
  13. 未来教育二级c语言的答案库在哪里,未来教育计算机二级c语言题库
  14. 关于机器人方面的sci论文_机器人领域国际期刊（SCI收录）
  15. 编译内核报错——*** 没有规则可制作目标“debian/canonical-revoked-certs.pem”，由“certs/x509_revocation_list” 需求。 停止。
  16. 亚马逊防关联怎么做？软关联硬关联有什么？
  17. POJ 3713 Transferring Sylla​ 题解 《挑战程序设计竞赛》
  18. 百度地图绘制运动轨迹技巧
  19. 【汇编语言】3.汇编语言程序
  20. AT_abc210_d [ABC210D] National Railway 的题解

热门文章

  1. android画直角坐标系,用Android画个五角星
  2. 2018年固态硬盘会大规模降价吗？
  3. servlet生命周期：
  4. TeXstudio在右边显示预览
  5. 成都java薪资待遇怎么样？还值得学习吗？
  6. Web前端期末大作业-响应式艺术培训机构网页设计（bootstrap+HTML+CSS+JavaScript+）实现
  7. 使用java搭建小说网站_如何从零开始搭建一套个人小说网站-小说精品屋安装教程...
  8. js动画requestAnimationFrame详解
  9. 深度学习中的Epoch，Batchsize，Iterations深刻理解
  10. PC企业微信hook接口，通过查询添加外部联系人教程