细说Java中的字符和字符串(一)
#一道经典问题
Java里的char类型能不能存储一个中文字符?
对于这道题,绝大多数的答案都是“可以存储”。给出的原因包括:
- java中的char是unicode存储,unicode编码字符集中包含了汉字,所以可以存储中文;
- java内部其实是使用的UTF-16的编码,所以是支持大部分非生僻汉字的;
- 采用Unicode编码集,一个char占用两个字节,而一个中文字符也是两个字节,因此Java中的char是可以表示一个中文字符的;
- Java的char只能表示utf16中的BMP部分中文字符,不能表示扩展字符集里的中文字符;
那么,这个问题的终极答案到底是什么?
#Java API中关于char的说明
原文地址:https://docs.oracle.com/javase/7/docs/api/java/lang/Character.html
char类型是按照Unicode规范实现的一种数据类型,固定16bit大小。现如今,
Unicode字符集已经进行了扩展,表示的范围已经超过了16bit。Unicode字符集的
数值范围扩大到了[U+0000,U+10FFFF]。
也就是说一个char能够存储16bit大小的数值,即2个字节。但是,就常用的UTF-8编码来说,我们都听说过他是用3或者4个字节来表示一个汉字的。就拿3个字节来算的话,一个char也存不下是不是?
我们继续看api文档的其他段落:
一个char值可以表示BMP范围内的Unicode字符。BMP表示[U+0000, U+FFFF]之间的Unicode字符。
而且,绝大部分的中文字符的Unicode范围是[0x4E00, 0x9FBB],恰好是在BMP范围内。
是不是说这里出现了破解不了的矛盾呢?UTF-8占用3到4个字节,char只能存2个字节(16bit),然而UTF-8中的几乎所有汉字都是在BMP范围内,也就是在char可存储的范围内,是不是矛盾了?
答案是不矛盾!关键点就在于接下来给出总结的第一条!
这里先给出总结,后续再给出解释:
1.char字符存储的是Unicode编码的代码点
,也就是存储的是U+FF00这样的数值,然而我们在调试或者输出到输出流的时候,是JVM或者开发工具按照代码点
对应的编码字符输出的。
2. 所以虽然UTF-8编码的中文字符是占用3个或者4个字节,但是对应的代码点
仍然集中在[0x4E00, 0x9FBB],所以char是能够存下在这个范围内的中文字符的。
3. 但是对于超过16bit的Unicode字符集,也就是Unicode的扩展字符集,一个char是放不下的,需要两个char才能放下。
#Unicode编码
Unicode的出现是对混乱的ANSI编码世界的一个大一统,因而也叫做统一码、万国码、单一码。Unicode编码把世界上常用的语言字符都进行了统一的编码,一个数值就代表一个字符,而且世界范围内公认。
ANSI的编码世界里,各中语言有自己的编码规范,同一个数值在不同的国家代表不同的字符。所以当文字在不同国家传递的时候(比如发邮件,看国外网页),问题就很大了,我明明写的是“爱我中华”,美国朋友看到的确实"°®ÎÒÖлª",一定是一脸问号!
//=====模拟文字在不同编码语言间传递的过程=====//发帖子String s = "爱我中华";//编码成字节流,通过网络传入,或者存储到文件byte[] bytes = s.getBytes("GB2312");System.out.println(s);//国外朋友用自己电脑的编码方式解析字节流String s2 = new String(bytes, "ISO-8859-1");//oh! shit, wtf! System.out.println(s2);
有了Unicode这个统一编码之后,全世界的计算机都能正确的解析到原始的字符,对于国内的文字信息,国外的朋友唯一要做的就是懂中文!
UTF-8只是Unicode编码的一种编码转换规范,也就是怎么存储Unicode代码点的方案之一。另外还有UTF-16和UTF-32等编码规范。Unicode为什么需要这么多编码规范?直接存储代码点行不行?
当然不行,存储了就需要解析比如"汉字"两个字的Unicode代码点是“0x6c49和0x5b57”也就是"6c495b57"。而且,Unicode的代码点还有3个字节的,比如"10FF3B",对于一个很长的上述数字串该怎么解析?比如“10FF3B6c495b57”!
所以,需要某种编码方案来区分那几个数值是一个Unicode代码点,这种方案就是UTF-8、UTF-16、UTF-32这样的编码方案。
#UTF-8编码和代码点对应关系
UTF-8以字节为单位对Unicode进行编码。从Unicode到UTF-8的编码方式如下:
Unicode编码(十六进制) | UTF-8 字节流(二进制) |
---|---|
000000-00007F | 0xxxxxxx |
000080-0007FF | 110xxxxx 10xxxxxx |
000800-00FFFF | 1110xxxx 10xxxxxx 10xxxxxx |
010000-10FFFF | 11110xxx10xxxxxx10xxxxxx10xxxxxx |
有没有发现点什么?当一个字节表示一个字符时,二进制开头是0;当两个字节表示一个字符时,二进制开头是11;当3个字节表示一个字符时,二进制开头是111;依次类推!
UTF-8编码加入了多余的标识位来区分一个Unicode代码点!才会出现中文汉字集中在[0x4E00, 0x9FBB]范围的16bit数值内,UTF-8却需要3个字节存储的原因。
#另一个经典问题
怎么判断Java字符串是否包含中文?
这个问题也很经典,一般我们可以查到的方法如下:
//代码来自HanLP自然语言处理库,git地址:https://github.com/hankcs/HanLP/blob/master/src/main/java/com/hankcs/hanlp/utility/TextUtility.java/*** 判断某个字符是否为汉字** @param c 需要判断的字符* @return 是汉字返回true,否则返回false*/public static boolean isChinese(char c){String regex = "[\\u4e00-\\u9fa5]";return String.valueOf(c).matches(regex);}
//来源地址:https://blog.csdn.net/z69183787/article/details/53162069这里考虑进了CJK的扩展字符集// GENERAL_PUNCTUATION 判断中文的“号 // CJK_SYMBOLS_AND_PUNCTUATION 判断中文的。号 // HALFWIDTH_AND_FULLWIDTH_FORMS 判断中文的,号 private static final boolean isChinese(char c) { Character.UnicodeBlock ub = Character.UnicodeBlock.of(c); if (ub == Character.UnicodeBlock.CJK_UNIFIED_IDEOGRAPHS || ub == Character.UnicodeBlock.CJK_COMPATIBILITY_IDEOGRAPHS || ub == Character.UnicodeBlock.CJK_UNIFIED_IDEOGRAPHS_EXTENSION_A || ub == Character.UnicodeBlock.GENERAL_PUNCTUATION || ub == Character.UnicodeBlock.CJK_SYMBOLS_AND_PUNCTUATION || ub == Character.UnicodeBlock.HALFWIDTH_AND_FULLWIDTH_FORMS) { return true; } return false; }
总结一下,一般来说用第一种方法就足够了,扩展字符集用的比较少,另外从HanLP的github星数来说,这种方案的通用度还是可信的。
好了,先到这里。这里也留一个坑,mysql数据库里边的VARCHAR类型和Java的char类型是一种处理方式么?下一篇也会从String源代码的角度对这里的分析进行一个佐证。
补充一个在线查看utf-8编码的网站地址:http://www.mytju.com/classcode/tools/encode_utf8.asp
~~~~~~~~~~~~~~~~~~~~~~~~~ 福利分割线~~~~~~~~~~~~~~~~~~~~~~~~~~~
-长期内推-:头条、快手、美团、阿里、陌陌、当当。有需要的朋友可以发邮件到我的邮箱xiaofan860412@163.com。
细说Java中的字符和字符串(一)相关推荐
- java中的字符,字符串,数字之间的转换(亲测)
string 和int之间的转换 string转换成int :Integer.valueOf("12") int转换成string : String.valueOf(12) ch ...
- java中的字符,字符串,数字之间的转换
java中的字符,字符串,数字之间的转换 string 和int之间的转换 string转换成int :Integer.valueOf(" ") int转换成string : St ...
- 字符串在Java中_字符和字符串在Java中的旅程
以下是个人对java中字符和字符串的见解,如有疏漏之处,还请不吝赐教. 下面通过一个简单的程序来说明字符和字符串在Java中的旅程. 以字符 ' 中 '为例, 它的GBK编码是2个字节:0xd6d0, ...
- java怎么统计随机数出现次数,Excel统计出现次数、个数的VBA代码 java中怎么判断一个字符串中包含某个字符或字...
延伸:java中怎么判断一个字符串中包含某个字符或字符 描述:...一个字符串中包含某个字符的单词说出现的次数 c#什么方法可以判断字符串中包含某个字符的个数? JAVA判断字符串数组中是否包含某字符 ...
- java 删除指定字符_字符串删除指定位置字符 JAVA 删除字符串中指定的字符
<死侍2>有多不按套路出牌? 要CSS布局HTML小编今天和大家分享用到函数的调用. 编制函数fun,其功能是:删除一个字符串中指定的一.问题描述:从键盘输入一个字符串给str和一个字符给 ...
- 字符和字节详解、Java中字节串和字符串相互转换
字符.字节和编码 1. 程序中的字符与字节 字节是规定存储大小的存储单位,规定为8位一字节(8bit = 1 byte). 字符是人类的描述符号.存储在计算机时,不同的编码格式会有不同的字节组合,一般 ...
- java找重复字符串_在java中怎样查找重复字符串
在一段java编程代码中,字符串是不可缺少的一个要素,属于java中的基础知识,字符串不仅在java面试题中会出现,在编写代码时更要掌握怎样使用字符串.在前面我们也学习过关于字符串截取的知识,你应该有 ...
- java 中利用subString 截取字符串中第三个/后面的内容,并将/用代替
原文地址为: java 中利用subString 截取字符串中第三个"/"后面的内容,并将/用>代替 private String extractString(String ...
- java字符乱码问题_怎么解决java中的字符乱码问题
怎么解决java中的字符乱码问题 发布时间:2020-06-28 14:53:09 来源:亿速云 阅读:108 作者:Leah 怎么解决java中的字符乱码问题?相信很多没有经验的人对此束手无策,为此 ...
最新文章
- SELinux 入门
- ambari hive mysql_ambari方式安装hadoop的hive组件遇到的问题
- java中bitconverter_C#中BitConverter.ToUInt16()和BitConverter.ToString()的简单使用
- 1.5 成员方法的声明和调用,形参,实参
- [论文翻译]Pedestrian Alignment Network for Large-scale Person Re-Identification
- linux 脚本 提示编辑器,javascript – 带脚本的文本编辑器…适用于Linux
- 微信小程序学习笔记01:微信小程序概述
- 893. 特殊等价字符串组
- 查看、删除本地电脑,连接过的共有文件夹(盘符) 「net use」
- oracle+口令+加密算法,Oracle Password Hash
- oracle mysql收费_oracle 数据库收费标准
- iosepub阅读器_epub格式电子书阅读器 iOS版
- 谷歌插件数据爬取:基本信息采集
- RTX3070Ti和RTX2080Ti哪个强 RTX3070Ti和RTX2080Ti参数对比哪个好
- excel如何使用COUNTIF进行条件计数
- 如何在手机上阅读caj格式论文
- Codeforces118D Caesar's Legions(DP)
- 神奇了!AR技术可测量实物体积!
- centos 安装惠普打印机驱动
- PDF转Word方法小罗列