node.js爬虫

前端同学可能向来对爬虫不是很感冒，觉得爬虫需要用偏后端的语言，诸如 php ， python 等。当然这是在 nodejs 前了，nodejs 的出现，使得 Javascript 也可以用来写爬虫了。由于 nodejs 强大的异步特性，让我们可以轻松以异步高并发去爬取网站，当然这里的轻松指的是 cpu 的开销。

要读懂本文，其实只需要有

能看懂 Javascript 及 JQuery

简单的nodejs基础

http 网络抓包 和 URL 基础

Nodejs做爬虫的优劣

首先说一下node做爬虫的优势

第一个就是他的驱动语言是JavaScript。JavaScript在nodejs诞生之前是运行在浏览器上的脚本语言，其优势就是对网页上的dom元素进行操作，在网页操作上这是别的语言无法比拟的。

第二就是nodejs是单线程异步的。听起来很奇怪，单线程怎么能够异步呢？想一下学操作系统的时候，单核cpu为什么能够进行多任务处理？道理也是类似，在操作系统中进程对CPU的占有进行时间切片，每一个进程占有的时间很短，但是所有进程循环很多次，因此看起就像是多个任务在同时处理。js也是一样，js里有事件池，CPU会在事件池循环处理已经响应的事件，未处理完的事件不会放到事件池里，因此不会阻塞后续的操作。在爬虫上这样的优势就是在并发爬取页面上，一个页面未返回不会阻塞后面的页面继续加载，要做到这个不用像python那样需要多线程。

其次是node的劣势

首先是异步并发上。处理的好很方便，处理的不好就会很麻烦。例如要爬取10个页面，用node不做异步处理话，那返回的结果可不一定是按1、2、3、4……这个顺序，很可能是随机。解决的办法就是增加一个页面的序列戳，让爬取的数据生成csv文件，然后重新排序。

第二个是数据处理上的劣势，这点是不如python的，如果只是单纯的爬数据，用node当然很好，但是如果用爬来的数据继续做统计分析，做个回归分析聚类啥的话，那就不能用node一步到底了。

如何用nodejs做爬虫

下面就要说一下如何用nodejs做爬虫了

1、初始化项目文件

在对应的项目文件夹下执行npm init来初始化一个package.json文件

2、安装request和cheerio依赖包

request听起来很熟悉吧，跟python里request功能一样。它的功能就是建立起对目标网页的链接，并返回相应的数据，这个不难理解。

cheerio的功能是用来操作dom元素的，他可以把request返回来的数据转换成可供dom操作的数据，更重要的cheerio的api跟jquery一样，用$来选取对应的dom结点，是不很方便？对一个前端程序员来说，这比python的什么xpath和beautisoup方便了不知道多少啊哈哈

安装命令也很简单：

分别是npm install request --save 和 npm install cheerio

3、引入依赖包并使用

接下来就用request , fs和cherrio写一个爬虫吧！

首先引入依赖模块

var http=require("http"); //网络请求

var fs=require("fs"); //操作文件，读写文件

var cheerio=require("cheerio"); //扩展模块

注：cheerio 模块是第三方模块，需要进行安装：

npm install cheerio --save

接下来就以我之前爬取的的百度新闻页为例吧，为什么要选这个呢，因为这个是最基础最简单的。

执行下面代码：

var http=require("http");

var fs=require("fs");

const wz="http://news.baidu.com/"; //网址

var strHtml="";

var results=[];

http.get(wz,function(res){

res.on("data",function(chunk){

strHtml+=chunk;

})

res.on("end",function(){

console.log(strHtml);

});

})

运行一下结果就是这样的

是不是很激动哈哈，html返回回来了。这样还是不够的，接下就是要处理下返回的数据，并提炼出我们想要获得的信息，这就轮到cheerio登场了

将request返回的结果传入cheerio中,并获得想要获取的信息，看代码是不是想在写脚本的感觉？

接下来我们在获取一下这一段

执行以下代码：

var http=require("http");

var fs=require("fs");

var cheerio=require("cheerio");

const wz="http://news.baidu.com/";

var strHtml="";

var results=[];

http.get(wz,function(res){

res.on("data",function(chunk){

strHtml+=chunk;

})

res.on("end",function(){

//console.log(strHtml);

var $=cheerio.load(strHtml);

$("#channel-all li").each((iten,i)=>{

console.log($(i).text());

})

});

})

运行一下结果如下：

这样一个简单的爬虫就完成啦，是不是很简单啊。

然后再简单的介绍一下node.js爬取图片

以下是我们将要爬取的图片：

首先我们也需要同上面一样引入一些需要的核心模块

var http = require("http");

var https = require("https");

var fs = require("fs");

var cheerio = require("cheerio");

注：cheerio 模块是第三方模块，需要进行安装：

npm install cheerio --save

//保存网络图片

function saveImage(imageUrl){

http.get(imageUrl, function (res) {

res.setEncoding('binary'); //二进制(binary)

var imageData ='';

res.on('data',function(data){ //图片加载到内存变量

imageData += data;

}).on('end',function(){ //加载完毕保存图片

if(!fs.existsSync("./images")){

fs.mkdirSync("./images");

}

fs.writeFile('images/'+Math.random()+'.png',imageData,'binary',function (err) { //以二进制格式保存

if(err) throw err;

console.log('保存成功');

});

});

});

}

nodejs 爬虫总结

① http.get+cheerio+iconv-lite

这种方式还是比较简单的，容易理解，直接使用http的get方法进行请求url，将得到的内容给cheerio解析，用jquery的方式解析出我们要东西即可。

要点：

得到的结果中文乱码如何解决呢，用iconv-lite模块将得到的内容进行转码即可。

http.get(options,function(result){

var body = [];

result.on('data',function(chunk){

body.push(chunk);

});

result.on('end', function () {

var html = iconv.decode(Buffer.concat(body), 'gb2312'); //注意这里body是数组

var $ = cheerio.load(html);

...

});

});

② request+cheerio+iconv-lite

这种方式在获取内容的方式上与上有些不同,可以直接获取到Buffer类型的数据。然后将得到的内容给cheerio解析，用jquery的方式解析出我们要东西即可。

要点：

结果中文乱码如何解决，用iconv-lite模块将得到的内容进行转码即可。

request(options,function(err,res,body){

if(err)console.log(err);

if(!err&&res.statusCode==200){

var html = iconv.decode(body, 'gb2312'); //这里body是直接拿到的是Buffer类型的数据，可以直接解码。

var $ = cheerio.load(html);

...

}

});

③ superagent+cheerio+superagent-charset

这种方式是比前面两个有较大差别，用了superagent的get方法发起请求，解码的时候用到了superagent-charse，用法还是很简单的，之后再将获取到的内容给cheerio解析，用jquery的方式解析出我们要东西即可。

要点：

结果中文乱码解决用superagent-charset模块进行转码，方式较之上面有点差别。

首先看它的加载方式：

var charset = require("superagent-charset");

var superagent = charset(require("superagent")); //将superagent模块传递给superagent-charset

解码方式：

superagent.get(url)

.charset('gb2312') //用charset方法达到解码效果。

.end(function(err,result){

if(err) console.log(err);

var $ = cheerio.load(result.text);

...

});

至此呢，Nodejs爬虫的核心就已经介绍完毕了，剩下就完全可以自由发挥了