Node 抓取非utf-8编码页面

代码示例 Nodejs抓取非utf8字符编码的页面 -- Ruby's Louvre

var http = require('http');
var iconv = require('iconv-lite');
var url=require('url');var html = "";
var getURL = url.parse('http://bj.soufun.com/');
var req =http.get(getURL, function (res) {res.setEncoding('binary');//or hexres.on('data',function (data) {//加载数据,一般会执行多次html += data;}).on('end', function () {var buf=new Buffer(html,'binary');//这一步不可省略var str=iconv.decode(buf, 'GBK');//将GBK编码的字符转换成utf8的console.log(str);})
}).on('error', function(err) {console.log("http get error:",err);});

UTF8与GBK进行转换，可以把Unicode作为中间编码。
UTF8编解Unicode规则简单，参见 UTF8
GBK编解Unicode无特定规则，一般可通过查表方式
GBK兼容ascii码，ascii字符用一字节编码，最高位为0，其它字符用两位编码，高字节从0x81。编解码时通过此规律对单字节和双字节字符加以区分。
由此可见，GBK是单字节、双字节变长编码。
理解了上面几点后，编解码GBK文件其实只需要一个GBK–>Unicode的码表就够了。
GBK编码时，通过Unicdoe–>GBK，生成相应的GBK字节流；
GBK解码时，通过GBK–>Unicode，生成UCS2字节流，再通过buffer.toString(‘UCS2’)即可转换成string对象。

// npm install iconv-lite
var iconv = require('iconv-lite');
var str = iconv.decode(buf, 'GBK'); //return unicode string from GBK encoded bytes
var buf = iconv.encode(str, 'GBK');//return GBK encoded bytes from unicode string

转载于:https://www.cnblogs.com/flowerszhong/p/6731250.html

Node 抓取非utf-8编码页面相关推荐

node抓取58同城信息_如何使用标准库和Node.js轻松抓取网站以获取信息
node抓取58同城信息网络抓取工具是一种工具,可让我们选择网站的非结构化数据并将其转换为结构化数据库. 那么,网络刮板将在哪里派上用场呢? 我列出了我最喜欢的用例,以使您对启动自己的应用感到兴奋! ...
php爬虫模拟浏览器,PHP模拟浏览器访问，抓取非本地文件的几种方法「爬虫」
在做一些天气预报或者RSS订阅的程序时,往往需要抓取非本地文件,一般情况下都是利用php模拟浏览器的访问,通过http请求访问url地址, 然后得到html源代码或者xml数据,得到数据我们不能直接输 ...
node抓取王者荣耀英雄资料库
用node写的爬虫,抓取王者荣耀英雄资料库,只是为了学习,侵删! 主要包括(基本上相关的都抓取): 召唤师技能铭文装备英雄皮肤英雄故事英雄技能推荐铭文推荐装备技能加点没有搞懂如何动 ...
经验分享 | Burpsuite抓取非HTTP流量
使用Burp对安卓应用进行渗透测试的过程中,有时候会遇到某些流量无法拦截的情况,这些流量可能不是HTTP协议的,或者是"比较特殊"的HTTP协议(以下统称非HTTP流量).遇到这种 ...
htmlunit+quartz定时抓取博文并生成jsp页面
前言分析网页页码分析文章链接分析文章内容分析 io流生成jsp页面 squarz设置定时抓取前言看视频看的累了写写博文~ 很久以前就想有个自己的博客.csdn很好,可是我不是专家啊,还是 ...
[Python爬虫] 之十二：Selenium +phantomjs抓取中的url编码问题
最近在抓取活动树网站 (http://www.huodongshu.com/html/find.html) 上数据时发现,在用搜索框输入中文后,点击搜索,phantomjs抓取数据怎么也抓取不到,但是 ...
试图抓取非英文windows操作系统镜像时PE无法正常启动解决方法
[url]http://support.microsoft.com/kb/952573/en-us[/url] MS有机器翻译,不知道和机器翻译比,手工翻译效果如何 SYMPTOMS When you ...
搜索引擎蜘蛛抓取不到网站内容页面的原因总结
我们分析网站日志时会发现搜索引擎的蜘蛛有时候来访很频繁,但是就不抓取内容页面,如果没有经验的SEO人员会一头雾水,甚至会觉得是搜索引擎的问题. 其实有一大半还是网站自身存在问题,如果蜘蛛来访频率不低, ...
Java - 抓取优酷网视频播放页面(使用jsoup解析html,正则表达式处理字符串)
最近在研究视频播放这块儿,然后打算做一款视频聚合类的软件,首先把优酷聚合搞定吧! 我们首先得把优酷网的视频播放页面的地址解析出来,由于优酷有很多拍客的视频,这些拍客的视频当然不是我们想要的,通过优酷网 ...

Node 抓取非utf-8编码页面

代码示例 Nodejs抓取非utf8字符编码的页面 -- Ruby's Louvre

Node 抓取非utf-8编码页面相关推荐

最新文章

热门文章