在不告知文件编码的情况下,通过一定的手段去探测文件的编码,几乎没有任何一种方法是绝对正确的。只有成功率大小的问题。一下列出几个常用的识别文件编码的方法。

常见的编码文件的开头来识别文件编码:

ANSI: 无格式定义

Unicode:  前两个字节为FFFE Unicode文档以0xFFFE开头

Unicode big endian: 前两字节为FEFF

UTF-8: 前两字节为EFBB UTF-8以0xEFBBBF开头

1、通过文件的前三个字节来判断

public static String codeString(String fileName) throws Exception {

BufferedInputStream bin = new BufferedInputStream(new FileInputStream(fileName));

int p = (bin.read() << 8) + bin.read();

bin.close();

String code = null;

switch (p) {

case 0xefbb:

code = "UTF-8";

break;

case 0xfffe:

code = "Unicode";

break;

case 0xfeff:

code = "UTF-16BE";

break;

default:

code = "GBK";

}

return code;

}

2、判断前三个字节出错率还是蛮大的,还可以进一步读取文件的字段,进行特殊编码字符的判断来确定文件编码

/**

* 判断文本文件的字符集,文件开头三个字节表明编码格式。

* 参考的博客地址

*

* @param path

* @return

* @throws Exception

* @throws Exception

*/

public static String charset(String path) {

String charset = "GBK";

byte[] first3Bytes = new byte[3];

try {

boolean checked = false;

BufferedInputStream bis = new BufferedInputStream(new FileInputStream(path));

bis.mark(0); // 读者注: bis.mark(0);修改为 bis.mark(100);我用过这段代码,需要修改上面标出的地方。

// Wagsn注:不过暂时使用正常,遂不改之

int read = bis.read(first3Bytes, 0, 3);

if (read == -1) {

bis.close();

return charset; // 文件编码为 ANSI

} else if (first3Bytes[0] == (byte) 0xFF && first3Bytes[1] == (byte) 0xFE) {

charset = "UTF-16LE"; // 文件编码为 Unicode

checked = true;

} else if (first3Bytes[0] == (byte) 0xFE && first3Bytes[1] == (byte) 0xFF) {

charset = "UTF-16BE"; // 文件编码为 Unicode big endian

checked = true;

} else if (first3Bytes[0] == (byte) 0xEF && first3Bytes[1] == (byte) 0xBB

&& first3Bytes[2] == (byte) 0xBF) {

charset = "UTF-8"; // 文件编码为 UTF-8

checked = true;

}

bis.reset();

if (!checked) {

while ((read = bis.read()) != -1) {

if (read >= 0xF0)

break;

if (0x80 <= read && read <= 0xBF) // 单独出现BF以下的,也算是GBK

break;

if (0xC0 <= read && read <= 0xDF) {

read = bis.read();

if (0x80 <= read && read <= 0xBF) // 双字节 (0xC0 - 0xDF)

// (0x80 - 0xBF),也可能在GB编码内

continue;

else

break;

} else if (0xE0 <= read && read <= 0xEF) { // 也有可能出错,但是几率较小

read = bis.read();

if (0x80 <= read && read <= 0xBF) {

read = bis.read();

if (0x80 <= read && read <= 0xBF) {

charset = "UTF-8";

break;

} else

break;

} else

break;

}

}

}

bis.close();

} catch (Exception e) {

e.printStackTrace();

}

System.out.println("--文件-> [" + path + "] 采用的字符集为: [" + charset + "]");

return charset;

}

3、通过工具库cpdetector来获取文件编码

/**

*

* 利用第三方开源包cpdetector获取文件编码格式.

* --1、cpDetector内置了一些常用的探测实现类,这些探测实现类的实例可以通过add方法加进来,

* 如:ParsingDetector、 JChardetFacade、ASCIIDetector、UnicodeDetector.

* --2、detector按照“谁最先返回非空的探测结果,就以该结果为准”的原则.

* --3、cpDetector是基于统计学原理的,不保证完全正确.

*

* @param filePath

* @return 返回文件编码类型:GBK、UTF-8、UTF-16BE、ISO_8859_1

* @throws Exception

*/

public static String getFileCharset(String filePath) throws Exception {

CodepageDetectorProxy detector = CodepageDetectorProxy.getInstance();

/*ParsingDetector可用于检查HTML、XML等文件或字符流的编码,

* 构造方法中的参数用于指示是否显示探测过程的详细信息,为false不显示。

*/

detector.add(new ParsingDetector(false));

/*JChardetFacade封装了由Mozilla组织提供的JChardet,它可以完成大多数文件的编码测定。

* 所以,一般有了这个探测器就可满足大多数项目的要求,如果你还不放心,可以再多加几个探测器,

* 比如下面的ASCIIDetector、UnicodeDetector等。

*/

detector.add(JChardetFacade.getInstance());

detector.add(ASCIIDetector.getInstance());

detector.add(UnicodeDetector.getInstance());

Charset charset = null;

File file = new File(filePath);

try {

//charset = detector.detectCodepage(file.toURI().toURL());

InputStream is = new BufferedInputStream(new FileInputStream(filePath));

charset = detector.detectCodepage(is, 8);

} catch (Exception e) {

e.printStackTrace();

throw e;

}

String charsetName = "GBK";

if (charset != null) {

if (charset.name().equals("US-ASCII")) {

charsetName = "ISO_8859_1";

} else if (charset.name().startsWith("UTF")) {

charsetName = charset.name();// 例如:UTF-8,UTF-16BE.

}

}

return charsetName;

}

java 文件编码_Java获取文件编码相关推荐

  1. java获取文件后缀_Java获取文件后缀的两种方式

    在对文件进行操作的时候,我们经常需要用到文件的后缀.但是Java API中并没有提供获取文件后缀的方法.下面的工具方法可以帮助我们实现这个目的. 方法1 代码示例: package org.4spac ...

  2. java 获取电脑唯一编码_java获取页面编码

    最近研究抓取网页内容,发现要获取页面的编码格式,Java没有现成的实现方法..只能自己写了 codeimport info.monitorenter.cpdetector.io.CodepageDet ...

  3. java 运行os文件路径_Java获取文件路径的几种方式

    关于绝对路径和相对路径: 绝对路径就是你的主页上的文件或目录在硬盘上真正的路径,(URL和物理路径)例如:C:xyz est.txt 代表了test.txt文件的绝对路径. http://www.su ...

  4. java删除相对路径文件夹_Java IO,io,文件操作,删除文件,删除文件夹,获取文件父级目录...

    Java IO,io,文件操作,删除文件,删除文件夹,获取文件父级目录 这里先简单的贴下常用的方法: File.separator //当前系统文件分隔符 File.pathSeparator// F ...

  5. Winform中使用OpenFileDialog选择文件打开并获取文件路径

    场景 在Windform中进行Excel导入时往往需要先将Excel文件打开并获取文件的路径,这时需要使用OpenFileDialog. OpenFileDialog 显示一个标准对话框,提示用户打开 ...

  6. java校验文件格式_Java 判断文件是否为文本格式,并获取文件编码格式,读取内容!...

    我们经常会遇到读取文件内容的情况,就需要判断文件是否为文本文件,及文件编码格式,防止无法读取内容或乱码出现情况. 根据文件扩展名判定不太准确,可能会遇到未知扩展名或被修改了扩展名,下面的测试类使用文件 ...

  7. java获取字符的编码_java获取文本文件字符编码的方法

    java获取文本文件字符编码的方法 发布时间:2020-06-16 09:56:08 来源:亿速云 阅读:386 作者:Leah 这篇文章将为大家详细讲解有关java获取文本文件字符编码的方法,小编觉 ...

  8. java取出unicode编码_Java获取字符的Unicode编码以及如何过滤特殊字符ZWNJ

    获取Unicode编码 package com.xs.test; public class Test { public static void main(String[] args) throws E ...

  9. java 获取md5值报错_java获取文件的MD5值

    package com.sichang.util; import java.io.File; import java.io.FileInputStream; import java.math.BigI ...

  10. java获取文件地址吗_java获取文件所在服务器位置路径

    1.通过 import javax.servlet.ServletContext 类获取web 服务器所在真实路径 public ActionForward execute( ActionMappin ...

最新文章

  1. ×××linux下samba服务器
  2. 谷歌浏览器翻译插件 saladict:沙拉查词
  3. js insertBefore insertAfter appendChild
  4. C语言试题十二之m个人的成绩存放在score数组中,请编写函数function,它的功能是:将低于平均分的人数作为函数值返回,将低于平均分的分数放在below所指定的数组中。
  5. 数据结构——图-迪杰斯特拉算法
  6. 面试题-ASP 与 ASP.Net的区别?
  7. php7 提示500错误解决,升级php7出现500错误怎么办
  8. 2014年最受欢迎WEB前端UI框架
  9. 是时候扔掉 Postman 了,Apifox 真香!
  10. opencv+python视频实时质心显示
  11. 库克笑嘻嘻!苹果明年或将迎来继iPhone 6后第二次换机大潮
  12. 用html语言绘制正弦曲线,使用js画图之正弦曲线
  13. html微博分享功能,js页面文字选中后分享到新浪微博实现
  14. PreparedStatement 执行sql
  15. 服务器管理系统架构,统一管理 统一IT管理系统架构设计思路与实践
  16. 微信公众号使用:给微信公众号设置头像和微信号的步骤
  17. DLP Lightcrafter™ 4500 EVM常见问题答疑
  18. android小程序_测试大佬是如何进行百度/微信小程序自动化测试的?
  19. 数字化转型对企业的意义
  20. 微软跟投,估值31.5亿美元的光量子计算公司刚刚完成4.5亿美元融资

热门文章

  1. Java网络编程socket实现(demo)
  2. 开源代码实现pppoe over l2tp方案
  3. 《Java开发实战经典》PDF+随书视频
  4. 几款Mac下载神器推荐,让你相见恨晚的MacBook神器
  5. 精美留言、评论框,带微博表情
  6. 超星阅读器pdz文件转为xps文件或pdf文件说明
  7. Photoshop DDS转化插件的一些问题
  8. 小米路由器mini WOL网络唤醒插件
  9. JQuery Easyui/TopJUI 多表头创建
  10. 数学建模方法自己归纳总结(建模参考用,包含相应例题以及MATLAB代码)