Nodejs抓取非utf8字符编码的页面

问题: nodejs目前无法处理非utf8编码以外的字符

在cnodejs用户组，有同学遇到抓取百度页面出现编码问题

由于Buffer.toString(encoding)中encoding只支持utf8编码，所以需要附加模块才能处理此问题

解决：node-iconv 模块

安装:

$ npm install iconv

示例

var http = require('http');var options = {host: 'www.baidu.com',port: 80,path: '/s?wd=nodejs'
};var Iconv = require('iconv').Iconv;http.get(options, function(res) {console.log("Got response: " + res.statusCode, res.headers);var buffers = [], size = 0;res.on('data', function(buffer) {buffers.push(buffer);size += buffer.length;});res.on('end', function() {var buffer = new Buffer(size), pos = 0;for(var i = 0, l = buffers.length; i < l; i++) {buffers[i].copy(buffer, pos);pos += buffers[i].length;}// 'content-type': 'text/html;charset=gbk'// 百度返回的页面数据流竟然还无法使用gbk完全解码。。var gbk_to_utf8_iconv = new Iconv('GBK', 'UTF-8//TRANSLIT//IGNORE');var utf8_buffer = gbk_to_utf8_iconv.convert(buffer);console.log(utf8_buffer.toString());});
}).on('error', function(e) {console.log("Got error: " + e.message);
});

具体页面编码可以根据res.headers['content-type'] 来判断。
如果没有res.headers['content-type']，则需要分析html的 Content-Type 来判断charset了

“{meta http-equiv="Content-Type" content="text/html; charset=xxxx"/}”

更多url相关请求，可以使用urllib库实现

有爱

希望本文对你有用 ^_^

转载于:https://www.cnblogs.com/fengmk2/archive/2011/05/15/2047109.html

Nodejs抓取非utf8字符编码的页面相关推荐

Node 抓取非utf-8编码页面
代码示例 Nodejs抓取非utf8字符编码的页面 -- Ruby's Louvre var http = require('http'); var iconv = require('iconv-li ...
php过滤4字节的字符串,过滤utf8 字符中超过三个字节的字符，或者非utf8字符
function filterUtf8($str) { /*utf8 编码表: * Unicode符号范围 | UTF-8编码方式 * u0000 0000 - u0000 007F | 0xxxxx ...
ASCII、Unicode、GBK和UTF-8字符编码的区别联系（转载）
ASCII.Unicode.GBK和UTF-8字符编码的区别联系转载自:http://dengo.org/archives/901 很久很久以前,有一群人,他们决定用8个可以开合的晶体管来组合成不同 ...
计算机网络-字符编码的由来（为什么会有乱码，ASCII、Unicode、GBK和UTF-8字符编码区别）
为什么我们在网络中传输数据,需要指定字符编码,例如使用UTF-8.GBK等编码.那么字符编码到底是什么?以前我也很困惑这个问题,但是学习了计算机网络后我们知道,由于底层电路的设计本质,只能是识别0和1 ...
php爬虫模拟浏览器,PHP模拟浏览器访问，抓取非本地文件的几种方法「爬虫」
在做一些天气预报或者RSS订阅的程序时,往往需要抓取非本地文件,一般情况下都是利用php模拟浏览器的访问,通过http请求访问url地址, 然后得到html源代码或者xml数据,得到数据我们不能直接输 ...
【Python爬虫教学】百度篇·手把手教你抓取百度搜索关键词后的页面源代码
[开门见山] 最近整理了下之前做过的项目,学的东西不少,乱七八糟.打算写点关于 Python 爬虫的东西,新人一枚,还望大佬们多多担待,别把我头给打歪了. 前面我先磨叽磨叽些基础的东西,对爬虫新人友好 ...
Source Insight乱码的解决方案，SI不支持UTF-8字符编码乱码
最近使用source insight查看一些开源代码,显示中文就乱码,据说是因为source insight不支持utf-8编码,默认编码方式为ANSI码.所以需要将utf-8等非ANSI码的文件转换 ...
java utf-8字符表_Java中的ASCII、Unicode和UTF-8字符编码集
首先讲一下几种字符的编码方式: 1. ASCII码我们知道,在计算机内部,所有的信息最终都表示为一个二进制的字符串.每一个二进制位(bit)有0和1两种状态,因此八个二进制位就可以组合出256种状态 ...
java json utf-8_关于java：如何使JSONObject的toString()像UTF-8字符一样将UTF-8字符编码为unicode？...
在Java中(用于Android),下面是代码行: org.json.JSONObject array = new org.json.JSONObject("{"value&quo ...
经验分享 | Burpsuite抓取非HTTP流量
使用Burp对安卓应用进行渗透测试的过程中,有时候会遇到某些流量无法拦截的情况,这些流量可能不是HTTP协议的,或者是"比较特殊"的HTTP协议(以下统称非HTTP流量).遇到这种 ...

Nodejs抓取非utf8字符编码的页面

问题: nodejs目前无法处理非utf8编码以外的字符

解决：node-iconv 模块

示例

有爱

Nodejs抓取非utf8字符编码的页面相关推荐

最新文章

热门文章