使用juniversalchardet做字符编码识别

为什么80%的码农都做不了架构师？>>>

在抓取网站的页面的时候最烦人的一件事情之一就是识别原站点的编码，通常来说只有GBK（GB2312）和UTF8两种，不过依旧需要读取大量Http头信息来识别，有些网站则由于历史原因两种编码同时存在，导致抓取中的一些问题。于是苦苦寻找，终于找到神器juniversalchardet。

首先引包

<!-- Mozilla的编码识别包 -->
<dependency><groupId>com.googlecode.juniversalchardet</groupId><artifactId>juniversalchardet</artifactId><version>1.0.3</version>
</dependency>

写个简单的Demo（我封装成工具方法了）

import java.io.File;
import java.io.IOException;import looly.github.hutool.FileUtil;
import org.mozilla.universalchardet.UniversalDetector;/*** 编码识别工具类* @author loolly**/
public class CharsetDetectUtil {public static String detect(byte[] content) {UniversalDetector detector = new UniversalDetector(null);//开始给一部分数据，让学习一下啊，官方建议是1000个byte左右（当然这1000个byte你得包含中文之类的）detector.handleData(content, 0, content.length);//识别结束必须调用这个方法detector.dataEnd();//神奇的时刻就在这个方法了，返回字符集编码。return detector.getDetectedCharset();}public static void main(String[] args) throws IOException {byte[] bytes = FileUtil.readBytes(new File("E:/workspace/python/htmlUtil.py"));System.out.println(detect(bytes));}
}

注意

我这个工具方法还是有些可以改进的，官方建议重复利用UniversalDetector对象，可以设置为类属性，不过这时你就要调用detector.reset()方法重置UniversalDetector了（还有就是如果设置为类属性，编码识别这个方法就不是线程安全的了）。

官网上还提到了一个jchardet，是另一个字符编码识别库，只不过比juniversalchardet老一些，速度也比不上后者，所以建议大家使用juniversalchardet。

转载于:https://my.oschina.net/looly/blog/263418

使用juniversalchardet做字符编码识别相关推荐

天池学习赛——街景字符编码识别(得分上0.93)
项目代码已上传至github需要的可以自行下载目录 1 比赛介绍 2 解题思路 3 比赛数据集 4 模型训练 5 更改detect.py文件 6 上传文件 1 比赛介绍项目链接:零基础入门CV - ...
天池大赛：街景字符编码识别——Part2：数据读取与数据扩增
街景字符编码识别更新流程↓ Task01:赛题理解 Task02:数据读取与数据扩增 Task03:字符识别模型 Task04:模型训练与验证 Task05:模型集成底到镜一比赛链接 Part2 ...
天池-街景字符编码识别2-数据读取与数据扩增
本此使用[定长字符识别]思路来构建模型赛题地址零基础入门CV赛事- 街景字符编码识别关于更详细的数据预处理可=可以参考我的另一篇博文: 卷积神经网络性能优化(提高准确率) 2 数据读取与数据扩增 ...
天池-街景字符编码识别1-赛题理解
赛题地址零基础入门CV赛事- 街景字符编码识别前期环境运行环境及安装运行环境 python3.7 pytorch1.3.1 有GPU 首先在Anaconda中创建一个专门用于本次练习赛的虚拟环 ...
阿里天池比赛——街景字符编码识别
文章目录前言一.街景字符编码识别 1. 目标 2. 数据集 3. 指标总结前言之前参加阿里天池比赛,好久了,一直没有时间整理,现在临近毕业,趁论文外审期间,赶紧把东西整理了,5月底学校就要让 ...
零基础入门CV赛事- 街景字符编码识别
零基础入门CV赛事- 街景字符编码识别 Task01 学习目标数据介绍 Task01任务内容数据读取解题思路学习目标熟悉计算机视觉赛事完成典型的字符识别问题掌握CV领域赛事的编程和解题思 ...
零基础入门CV赛事—街景字符编码识别—task2数据读取与扩增
数据读取与扩增上节学习了街景字符编码识别的解题思路,让我们对本赛题有了基本的idea,这节在定长字符编码的思路基础上学习读取数据和数据扩增. 图像数据读取由于赛题数据是图像数据,赛题的任务是识别图 ...
计算机视觉实践（街景字符编码识别）-Task2 数据读取与数据扩增
计算机视觉实践(街景字符编码识别)-Task2 数据读取与数据扩增 2.1.数据读取与数据扩增本章主要内容为数据读取.数据扩增方法和Pytorch读取赛题数据三个部分组成. 2.1 学习目标学习P ...
天池-街景字符编码识别5-模型训练与验证
模型集成包括:集成学习方法.深度学习中的集成学习和结果后处理思路. 集成学习方法在机器学习中的集成学习可以在一定程度上提高预测精度,常见的集成学习方法有Stacking.Bagging和Boost ...

使用juniversalchardet做字符编码识别

首先引包

写个简单的Demo（我封装成工具方法了）

注意

使用juniversalchardet做字符编码识别相关推荐

最新文章

热门文章