用juniversalchardet解决爬虫乱码问题

原创文章，转载请注明。

爬虫往往会遇到乱码问题。最简单的方法是依据http的响应信息来获取编码信息。但假设对方站点的响应信息不包括编码信息或编码信息错误，那么爬虫取下来的信息就非常可能是乱码。

好的解决的方法是直接依据页面内容来自己主动推断页面的编码。

如Mozilla公司的firefox使用的universalchardet编码自己主动检測工具。

juniversalchardet是universalchardet的java版本号。

源代码开源于 https://github.com/thkoch2001/juniversalchardet

自己主动编码主要是依据统计学的方法来推断。详细原理。能够看http://www-archive.mozilla.org/projects/intl/UniversalCharsetDetection.html

如今以Java爬虫经常使用的httpclient来解说怎样使用。看下面关键代码：

UniversalDetector encDetector = new UniversalDetector(null);while ((l = myStream.read(tmp)) != -1) {buffer.append(tmp, 0, l);if (!encDetector.isDone()) {encDetector.handleData(tmp, 0, l);}}
encDetector.dataEnd();
String encoding = encDetector.getDetectedCharset();
if (encoding != null) {return new String(buffer.toByteArray(), encoding);
}
encDetector.reset();

myStream.read(tmp)) 读取httpclient得到的流。我们要做的就是在读流的同一时候，运用juniversalchardet来检測编码，假设有符合特征的编码的出现，则最后可通过detector.getDetectedCharset()
能够得到编码。否则返回null。至此，检測工作结束。通过String的构造方法来进行按一定编码构建字符串。

用juniversalchardet解决爬虫乱码问题相关推荐

解决爬虫中文乱码问题
解决爬虫中文乱码问题今天群里有个人反映某个网址爬出来的网页源代码出现中文乱码,我研究了半天,终于找到了解决方法. 一开始,我是这样做的: import requestsurl = 'http://s ...
python学习笔记分享(四十)网络爬虫(7)反爬虫问题，解决中文乱码，登陆和验证码处理
网络爬虫深度知识一.反爬虫问题 (一)反爬虫原因 1.网络爬虫浪费了网站的流量 2.数据是私有资源 3.爬虫协议与原则 (二)反爬虫方式 (三)反反爬虫 1.原理 2.三种方法二.解决中文乱码 ( ...
爬虫学习----解决中文乱码
一.字符编码在编程的过程中,我们会遇到中文乱码的问题.要解决中文乱码我们就要了解计算机的字符编码,计算机有很多编码方式,因为计算机只能处理数字,因为处理文本的话,就必须先转化为数字.最早的时候计算机 ...
爬虫过程中解决html乱码和获取的文本乱码问题
爬虫过程中解决html乱码和获取的文本乱码问题 response1 = requests.get(url=detail_url, headers=headers) responseText1 = re ...
Python爬虫中文乱码问题（爬虫乱码）
在输出内容时,出现如下图的情况: 解决爬虫中文乱码的步骤网址编码为gbk 查看网页源代码的head部分的编码: <meta http-equiv="Content-Type" ...
sqlserver mysql 乱码_SQLServer数据库如何解决中文乱码问题？方法有哪些？
很多使用数据库的人都知道,在安装SQLServer数据库是,如果设置不当就会出现一些中文乱码.主要原因是,很多人在使用默认安装系统时,一般不会考虑到默认排序的规则是拉丁文的排序规则,只是点击下一步,在 ...
php utf-8读取,PHP读取文件,解决中文乱码UTF-8的方法分析
PHP读取文件,解决中文乱码UTF-8的方法分析,方法,中文,操作技巧,文本,本文 PHP读取文件,解决中文乱码UTF-8的方法分析易采站长站,站长之家为您整理了PHP读取文件,解决中文乱码UTF- ...
java txt中文乱码,JAVA读取TXT文件可解决中文乱码问题
import java.io.BufferedReader; import java.io.File; import java.io.FileInputStream; import java.io.I ...
PHP生成PDF完美支持中文,解决TCPDF乱码
PHP生成PDF完美支持中文,解决TCPDF乱码 2011-09-26 09:04 418人阅读评论(0) 收藏举报 phpfontsheaderttfxhtml文档 PHP生成PDF完美支持中文 ...

用juniversalchardet解决爬虫乱码问题

用juniversalchardet解决爬虫乱码问题相关推荐

最新文章

热门文章