java对字符串编码转换_(转) Java字符编码转换
JVM
JVM启动后,JVM会设置一些系统属性以表明JVM的缺省区域。
user.language,user.region,file.encoding等。
可以使用System.getProperties()详细查看所有的系统属性。
如在英文操作系统(如UNIX)下,可以使用如下属性定义强制指定JVM为中文环境
-Dclient.encoding.override=GBK -
Dfile.encoding=GBK -Duser.language=zh -Duser.region=CN
.java-->.class编译
说明:一般javac根据当前os区域设置,自动决定源文件的编码.可以通过-encoding强制指定.
错误可能:
1 gbk编码源文件在英文环境下编译,javac不能正确转换.曾见于java/jsp在英文unix下.
检测方法:写\u4e00格式的汉字,绕
开javac编码,再在jvm中,将汉字作为int打印,看值是否相等;或直接以UTF-8编码打开.class
文件,看看常量字符串是否正
确保存汉字。
文件读写
外部数据如文件经过读写和转换两个步骤,转为jvm所使用字符。InputStream/OutputStream用于读写原始外部数据,
Reader/Writer执行读写和转换两个步骤。
1 文件读写转换由java.io.Reader/Writer执行;输入输出流 InputStream/OutputStream
处理汉字不合适,应该首选使用
Reader/Writer,如 FileReader/FileWriter。
2
FileReader/FileWriter使用JVM当前编码读写文件.如果有其它编码格式,使用InputStreamReader/OutputStreamWriter
3 PrintStream有点特殊,它自动使用jvm缺省编码进行转换。
读取.properties文件
.propeties 文件由Properties类以iso8859-1编码读取,因此不能在其中直接写汉字,需要使用JDK
的native2ascii工具转换
汉字为\uXXXX格式。命令行:native2ascii ?encoding GBK inputfile
outputfile
读取XML文件
1 XML文件读写同于文件读写,但应注意确保XML头中声明如 xml version=”1.0”
encoding=”gb2312” ?>与文件编码保
持一致。
2
javax.xml.SAXParser类接受InputStream作为输入参数,对于Reader,需要用org.xml.sax.InputSource包装一下,再给
SAXParser。
3 对于UTF-8编码 XML,注意防止编辑器自动加上\uFFFE BOM头, xml parser会报告content is not
allowed in prolog。
字节数组
1 使用 new String(byteArray,encoding) 和 String.getBytes(encoding)
在字节数组和字符串之间进行转换
也可以用ByteArrayInputStream/ByteArrayOutputStream转为流后再用InputStreamReader/OutputStreamWriter转换。
错误编码的字符串(iso8859-1转码gbk)
如果我们得到的字符串是由错误的转码方式产生的,例如:对于gbk中文,由iso8859-1方式转换,此时如果用调试器看到的字
符串一般是 的样子,长度一般为文本的字节长度,而非汉字个数。
可以采用如下方式转为正确的中文:
text = new String( text.getBytes(“iso8859-1”),”gbk”);
WEB/Servlet/JSP
1 对于JSP,确定头部加上
contentType="text/html;charset=gb2312"%>这样的标签。
2 对于Servlet,确定 设置setContentType (“text/html;
charset=gb2312”),以上两条用于使得输出汉字没有问题。
3 为输出HTML head中加一个
content="text/html; charset=gb2312"> ,让浏览器正确
确定HTML编码。
4
为Web应用加一个Filter,确保每个Request明确调用setCharacterEncoding方法,让输入汉字能够正确解析。
import java.io.IOException;
import javax.servlet.Filter;
import javax.servlet.FilterChain;
import javax.servlet.FilterConfig;
import javax.servlet.ServletException;
import javax.servlet.ServletRequest;
import javax.servlet.ServletResponse;
import javax.servlet.UnavailableException;
import javax.servlet.http.HttpServletRequest;
public class SetCharacterEncodingFilter
implements Filter {
public SetCharacterEncodingFilter()
{}
protected boolean debug = false;
protected String encoding = null;
protected FilterConfig filterConfig = null;
public void destroy() {
this.encoding = null;
this.filterConfig = null;
}
public void doFilter(ServletRequest request, ServletResponse
response,
FilterChain chain) throws IOException, ServletException {
// if (request.getCharacterEncoding() == null)
// {
// String encoding = getEncoding();
// if (encoding != null)
// request.setCharacterEncoding(encoding);
//
// }
request.setCharacterEncoding(encoding);
if ( debug ){
System.out.println(
((HttpServletRequest)request).getRequestURI()+"setted to "+encoding
);
}
chain.doFilter(request, response);
}
public void init(FilterConfig filterConfig) throws ServletException
{
this.filterConfig = filterConfig;
this.encoding = filterConfig.getInitParameter("encoding");
this.debug = "true".equalsIgnoreCase(
filterConfig.getInitParameter("debug") );
}
protected String getEncoding() {
return (this.encoding);
}
}
web.xml中加入:
LocalEncodingFilter
LocalEncodingFilter
com.ccb.ectipmanager.request.SetCharacterEncodingFilter
encoding
gb2312
debug
false
LocalEncodingFilter
JNIEXPORT jstring
NewStringPlatform(JNIEnv *env, const char *str);
JNIEXPORT const char *
GetStringPlatformChars(JNIEnv *env, jstring jstr, jboolean
*isCopy);
JNIEXPORT jstring JNICALL
JNU_NewStringPlatform(JNIEnv *env, const char *str);
JNIEXPORT const char * JNICALL
JNU_GetStringPlatformChars(JNIEnv *env, jstring jstr, jboolean
*isCopy);
JNIEXPORT void JNICALL
JNU_ReleaseStringPlatformChars(JNIEnv *env, jstring jstr, const
char *str);
附件jni_util.h,jni_util.c
JDK1.4/1.5新增部分
字符集相关类(Charset/CharsetEncoder/CharsetDecoder)
jdk1.4开始,对字符集的支持在java.nio.charset包中实现。
常用功能:
1 列出jvm所支持字符集:Charset.availableCharsets()
2 能否对看某个Unicode字符编码,CharsetEncoder.canEncode()
常见问题
在JVM下,用System.out.println不能正确打印中文,显示为???
System.out.println是PrintStream,它采用jvm缺省字符集进行转码工作,如果jvm的缺省字符集为iso8859-1,则中文显示会
有问题。此问题常见于Unix下,jvm的区域没有明确指定的情况。
在英文UNIX环境下,用System.out.println能够正确打印汉字,但是内部处理错误
可能是汉字在输入转换时,就没有正确转码:
即gbk文本à(iso8859-1转码)àjvm char(iso8859-1编码汉字)à
(iso8859-1转码)à输出。
gbk汉字经过两次错误转码,原封不动的被传递到输出,但是在jvm中,并未以正确的unicode编码表示,而是以一个汉字字节
一个char的方式表示,从而导致此类错误。
GB2312-80,GBK,GB18030-2000 汉字字符集
GB2312-80 是在国内计算机汉字信息技术发展初始阶段制定的,其中包含了大部分常用的一、二级汉字,和 9 区的符号。该
字符集是几乎所有的中文系统和国际化的软件都支持的中文字符集,这也是最基本的中文字符集。其编码范围是高位0xa1-
0xfe,低位也是 0xa1-0xfe;汉字从 0xb0a1 开始,结束于 0xf7fe;
GBK 是 GB2312-80 的扩展,是向上兼容的。它包含了 20902 个汉字,其编码范围是 0x8140-0xfefe,剔除高位
0x80 的字位
。其所有字符都可以一对一映射到 Unicode 2.0,也就是说 JAVA 实际上提供了 GBK 字符集的支持。这是现阶段
Windows 和
其它一些中文操作系统的缺省字符集,但并不是所有的国际化软件都支持该字符集,感觉是他们并不完全知道 GBK 是怎么回
事。值得注意的是它不是国家标准,而只是规范。随着
GB18030-2000国标的发布,它将在不久的将来完成它的历史使命。
GB18030-2000(GBK2K) 在 GBK 的基础上进一步扩展了汉字,增加了藏、蒙等少数民族的字形。GBK2K
从根本上解决了字位不
够,字形不足的问题。它有几个特点,
它并没有确定所有的字形,只是规定了编码范围,留待以后扩充。
编码是变长的,其二字节部分与 GBK 兼容;四字节部分是扩充的字形、字位,其编码范围是首字节
0x81-0xfe、二字节0x30
-0x39、三字节 0x81-0xfe、四字节0x30-0x39。
UTF-8/UTF-16/UTF-32
UTF,即Unicode Transformer Format,是Unicode代码点(code
point)的实际表示方式,按其基本长度所用位数分为UTF-
8/16/32。它也可以认为是一种特殊的外部数据编码,但能够与Unicode代码点做一一对应。
UTF-8是变长编码,每个Unicode代码点按照不同范围,可以有1-3字节的不同长度。
UTF-16长度相对固定,只要不处理大于\U200000范围的字符,每个Unicode代码点使用16位即2字节表示,超出部分使用两个
UTF-16即4字节表示。按照高低位字节顺序,又分为UTF-16BE/UTF-16LE。
UTF-32长度始终固定,每个Unicode代码点使用32位即4字节表示。按照高低位字节顺序,又分为UTF-32BE/UTF-32LE。
UTF 编码有个优点,即尽管编码字节数不等,但是不像gb2312/gbk编码一样,需要从文本开始寻找,才能正确对汉字进行定位
。在UTF编码下,根据相对固 定的算法,从当前位置就能够知道当前字节是否是一个代码点的开始还是结束,从而相对简单的
进行字符定位。不过定位问题最简单的还是UTF-32,它根本不 需要进行字符定位,但是相对的大小也增加不少。
关于GCJ JVM
GCJ并未完全依照sun jdk的做法,对于区域和编码问题考虑尚不够周全。GCJ启动时,区域始终设为en_US,编码也缺省为
iso8859-1。但是可以用Reader/Writer做正确编码转换
java对字符串编码转换_(转) Java字符编码转换相关推荐
- python 字符编码处理_浅析Python 字符编码与文件处理
Python字符编码 目前计算机内存的字符编码都是Unicode,目前国内的windows操作系统采用的是gbk. python2默认的字符编码方式是ASCII python3默认的字符编码方式是Un ...
- java 将字符串数组清空_在Java中如何将字符串集转换为字符串数组
详细内容 在Java中将字符串集(Set)转换为字符串数组(String[])的方法有:使用for循环,使用Set.toArray()方法,使用Arrays.copyOf()方法等等.下面我们就来具体 ...
- java获取字符串最长_基于java查找最长字符串代码实例
题目:编写程序,针对输入的N个字符串,输出其中最长的字符串 输入样例: 4 zhaoming zhangming sunming liming 输出样例: 最长的字符串:zhangming 代码如下 ...
- java判断字符串是子串_【Java】判断字符串是否包含子字符串
java截取相关 1.length() 字符串的长度 例:char chars[]={'a','b'.'c'}; String s=new String(chars); int len=s.lengt ...
- (十二)Core Java IO流(Properties,序列化,管道流,字符编码)-03 (108)
目录 : 41 ). IO流(创建java文件列表) 42 ). IO流(Properties简述) 43 ). IO流(Properties存取) 44 ). IO流(Pr ...
- Java求字符串中出现次数最多的字符
Java求字符串中出现次数最多的字符 [尊重原创,转载请注明出处]http://blog.csdn.net/guyuealian/article/details/51933611 Java ...
- 【源码+图片素材】Java王者荣耀游戏开发_开发Java游戏项目【王者荣耀】1天搞定!!!腾讯游戏_Java课程设计_Java实战项目_Java初级项目
王者荣耀是当下热门手游之一,小伙伴们是否想过如何制作一款属于自己的王者荣耀游戏呢? 本课程讲解了一个王者荣耀游戏的详细编写流程,即使你是刚入门Java的新手,只要你简单掌握了该游戏所需要的JavaSE ...
- python中二进制和文本不同_关于Python字符编码与二进制不得不说的一些事
二进制 核心思想: 冯诺依曼 + 图灵机 电如何表示状态,才能稳定? 计算机开始设计的时候并不是考虑简单,而是考虑能自动完成任务与结果的可靠性, 简单始终是建立再稳定.可靠基础上 经过尝试10进制,但 ...
- 《C++字符串完全指南——第一部分:win32 字符编码》
<C++字符串完全指南--第一部分:win32 字符编码> 原作者:Michael Dun 译 者:Dingqiao Wang 引言 毫无疑问,你肯定见过像TCHAR, st ...
- python字符编码用什么储存卡_python字符编码
一 了解字符编码的知识储备 一 计算机基础知识 二 文本编辑器存取文件的原理(nodepad++,pycharm,word) #1.打开编辑器就打开了启动了一个进程,是在内存中的,所以,用编辑器编写的 ...
最新文章
- dotnet 在 UOS 国产系统上使用 Xamarin Forms 创建 xaml 界面的 GTK 应用
- charts引入icon图片_v-charts 踩坑之路
- web前端已经不行了?千万不要信
- 推荐一些vue.js热门好用的框架组件
- CreateCompatibleBitmap
- mac vim 配置文件
- Starling常见问题解决办法
- Audio Hijack 4 for Mac(音频录制工具)
- QQ空间那年今日 人人过往的今天
- Web页面执行shell命令
- Linux命令brctl介绍
- 使用 pytesseract 实现PDF中文识别(附源码及解释)
- 端口被占用怎么办?关闭8080,3000,8000端口被占用
- 做游戏建模,想知道免费3D模型哪里找?这8个网站不可少
- Linux的安装与系统介绍
- 小说的逻辑与反逻辑_小说内部的逻辑与反逻辑
- 例说hg(六)———— hg branch 创建分支
- 315Mhz RF射频解码 串口输出方案(支持2262/1527多种编码方式)
- python 生成可执行文件_在Cython中创建一个可执行文件
- 浪涌抑制专题-压敏电阻/TVS管/浪涌抑制介绍