自动检测TXT文件编码

自动检测文本文件编码的代码（只能简单判断是UTF-8或不是UTF-8），因为一般除了UTF-8之外就是GBK，所以就设置默认为GBK。

String charsetDetect(String path) {
    String _charset="";
    try {
     File file = new File(path);
     InputStream fs = new FileInputStream(file);
     byte[] buffer = new byte[3];
     fs.read(buffer);
      fs.close();

if (buffer[0] == -17 && buffer[1] == -69 && buffer[2] == -65)
    _charset="UTF-8";
else
    _charset="GBK";
     }
     catch (IOException e) {e.printStackTrace(); }
     return _charset;

}

若想实现更复杂的文件编码检测，可以使用一个开源项目cpdetector，它所在的网址是：http://cpdetector.sourceforge.net/。它的类库很小，只有500K左右，利用该类库判定文本文件的代码如下：

/*------------------------------------------------------------------------
detector是探测器，它把探测任务交给具体的探测实现类的实例完成。
cpDetector内置了一些常用的探测实现类，这些探测实现类的实例可以通过add方法
加进来，如ParsingDetector、 JChardetFacade、ASCIIDetector、UnicodeDetector。
detector按照“谁最先返回非空的探测结果，就以该结果为准”的原则返回探测到的
字符集编码。
--------------------------------------------------------------------------*/
cpdetector.io.CodepageDetectorProxy detector =
cpdetector.io.CodepageDetectorProxy.getInstance();
/*-------------------------------------------------------------------------
ParsingDetector可用于检查HTML、XML等文件或字符流的编码,构造方法中的参数用于
指示是否显示探测过程的详细信息，为false不显示。
---------------------------------------------------------------------------*/
detector.add(new cpdetector.io.ParsingDetector(false));
/*--------------------------------------------------------------------------
JChardetFacade封装了由Mozilla组织提供的JChardet，它可以完成大多数文件的编码
测定。所以，一般有了这个探测器就可满足大多数项目的要求，如果你还不放心，可以
再多加几个探测器，比如下面的ASCIIDetector、UnicodeDetector等。
---------------------------------------------------------------------------*/
detector.add(cpdetector.io.JChardetFacade.getInstance());
//ASCIIDetector用于ASCII编码测定
detector.add(cpdetector.io.ASCIIDetector.getInstance());
//UnicodeDetector用于Unicode家族编码的测定
detector.add(cpdetector.io.UnicodeDetector.getInstance());
JAVA.nio.charset.Charset charset = null;
File f=new File("待测的文本文件名");
try {
      charset = detector.detectCodepage(f.toURL());
} catch (Exception ex) {ex.printStackTrace();}
if(charset!=null){
     System.out.println(f.getName()+"编码是："+charset.name());
}else
    System.out.println(f.getName()+"未知");

上面代码中的detector不仅可以用于探测文件的编码，也可以探测任意输入的文本流的编码，方法是调用其重载形式：
Java代码
charset=detector.detectCodepage(待测的文本输入流,测量该流所需的读入字节数);

上面的字节数由程序员指定，字节数越多，判定越准确，当然时间也花得越长。要注意，字节数的指定不能超过文本流的最大长度。

判定文件编码的具体应用举例：
属性文件(.properties)是Java程序中的常用文本存储方式，象STRUTS框架就是利用属性文件存储程序中的字符串资源。它的内容如下所示：
Java代码

#注释语句
   属性名=属性值

读入属性文件的一般方法是：
Java代码
FileInputStream ios=new FileInputStream("属性文件名");
Properties prop=new Properties();
prop.load(ios);
ios.close();

利用java.io.Properties的load方法读入属性文件虽然方便，但如果属性文件中有中文，在读入之后就会发现出现乱码现象。发生这个原因是load方法使用字节流读入文本，在读入后需要将字节流编码成为字符串，而它使用的编码是“iso-8859-1”,这个字符集是ASCII码字符集，不支持中文编码，所以这时需要使用显式的转码:
Java代码
String value=prop.getProperty("属性名");
String encValue=new String(value.getBytes("iso-8859-1"),"属性文件的实际编码");

在上面的代码中，属性文件的实际编码就可以利用上面的方法获得。当然，象这种属性文件是项目内部的，我们可以控制属性文件的编码格式，比如约定采用Windows内定的GBK，就直接利用"gbk"来转码，如果约定采用UTF-8，也可以是使用"UTF-8"直接转码。如果想灵活一些，做到自动探测编码，就可利用上面介绍的方法测定属性文件的编码，从而方便开发人员的工作。

自动检测TXT文件编码相关推荐

txt文件编码批量转换器V2.11版
用于批量转换txt文本文档的编码格式.通常我们电脑里的txt文件都是ASNI编码,放到手机,MP3等设备里面,打开看到的都是乱码.所以我们必须先把它们转换为Unicode格式,才能够在手机和M ...
txt文件编码批量转换器 2.11 官方版
txt文件编码批量转换器用于批量转换txt文本文档的编码格式.通常,我们电脑里的txt文件都是ASNI编码,当放到手机或MP3里时,打开看到的往往都是乱码,面目全非.我们需要先把它们转换为Unicod ...
TXT 文件编码类型
TXT文件共4种类型编码:GB3212.UTF8.BIG UTF8.Unicode *****************下为以C#代码**************** public System.Tex ...
ubuntu下txt文件编码转换、查询（gbk/ISO-8859-utf-8）
在ubuntu下运行python程序,总是报错,说编码不对不是utf-8(貌似是因为汉字部分出问题了),搜集资料后完成了转换. 1.文件编码查询 $ file 199801.txt 199801.tx ...
python能打开的txt文件编码_Python读写txt文件时的编码问题
这个问题来自于一个小伙伴,他在处理中文数据时需要先把里面的文本过滤然后分词,因为里面有许多符号,不仅是中文标点符号,还有✳,emoji等奇怪的符号. 正常情况下,中文的str经过encode('utf ...
批量修改txt（或其他）文件编码为utf-8
批量修改txt(或其他)文件编码方式为utf-8 这两天敲代码批量处理txt文件时一直出现报错: UnicodeDecodeError: 'utf-8' codec can't decode byte ...
python读取文件编码错误_关于python 读取txt文件出现编码问题：
python 读取txt文件出现编码问题:UnicodeDecodeError: 'utf-8' codec can't decode byte 0xba in position 5: invalid ...
java怎样输出一个文件夹,java合并一个文件夹下所有txt文件，输出到另一个txt，...
java合并一个文件夹下所有txt文件,输出到另一个txt,最近写了个单元测试,递归调用方法,把同一个文件夹里所有的txt合并输出到一个txt文件.参考了两个博客,分别是已有的方法,还有个就是检测tx ...
python合并两个列表并去重_python合并多个txt文件
python合并多个txt文件 #合并一个文件夹下的多个txt文件 #coding=utf-8 import os #获取目标文件夹的路径 filedir = os.getcwd()+'\\数据' # ...

自动检测TXT文件编码

自动检测TXT文件编码相关推荐

最新文章

热门文章