Node.js制作图片下载爬虫的一般步骤

图片下载爬虫分两部分：爬页面和下载图片。

爬页面时先看网址是https还是http的，然后选择不同的内置对象；其次看编码，如果是charset=gb2312的网页就需要iconv帮忙转码，好在大部分都是utf8了这步可以省却，之后输出页面代码看看，不乱码就可以进行分析了；有时候网页使用gzip编码压缩了（网页头字段Content-Encoding是gzip），这时必须用zlib解码再读取；接下来用cheerio分析页面，用的是和jQuery相似的语法，分析出图片地址和下一页地址就完成任务了。

爬图片相对简单一些，首先还是要网址是https还是http的，然后选择不同的内置对象；先试着下载一次，正常就OK了，如果下载下来的图片只有1K那么说明网站用了反爬虫手段，一般在header里加上Referer就好了，Referer地址就是网站的host地址。

好了，目前基本上就是这些，以后有必要再补充。

本文转自张昺华-sky博客园博客，原文链接：http://www.cnblogs.com/xiandedanteng/p/7864811.html，如需转载请自行联系原作者

Node.js制作图片下载爬虫的一般步骤相关推荐

【Mac】从0开始用node.js制作爬取结果的查询网站
[Mac]从0开始用node.js制作爬取结果的查询网站实验要求实验结果展示简单了解实验项目所需知识 1 爬虫原理 2 JavaScript语法 3 网络元素的提取 4 正则表达式 5 其他有关 ...
Python淘宝美眉图片下载爬虫视频教程-何家胜-专题视频课程
Python淘宝美眉图片下载爬虫视频教程-21985人已学习课程介绍本套视频主要讲述Python项目实训一:如何利用Python的while循环体设计实现网络爬虫刷博器的程序的设计 ...
JS将图片转化为base64编码，并实现点击下载，js实现图片下载的实操博客
背景需求在前端的工作中,经常碰到点击下载图片的需求,但是有一种情况大家经常碰到,就是点击下载地址之后,在浏览器窗口默认打开了,并没有调用浏览器进行下载如果你正在完善这个需求,一直解决不了,恭喜你看 ...
如何用js实现图片下载
如何用js实现图片下载??? 需求场景:点击图标,实现图片下载. html代码: js函数: downLoadImg(imgsrc, name) {var image = new Image();// ...
如何用原生JS制作图片时钟
程序设计之道无远弗届,御晨风而返.---- 杰佛瑞 · 詹姆士今天分享一个小demo,如何用原生JS制作图片时钟,话不多说上代码. html[外链图片转存失败(img-mD0n42FM-156223 ...
Node.js aitaotu图片批量下载Node.js爬虫1.00版
即使是https网页,解析的方式也不是一致的,需要多试试. 代码: //====================================================== // aitaot ...
Node.js umei图片批量下载Node.js爬虫1.00
这个爬虫在abaike爬虫的基础上改改图片路径和下一页路径就出来了,代码如下: //====================================================== // ...
Node.js mimimn图片批量下载爬虫 1.00
这个爬虫在Referer设置上和其它爬虫相比有特殊性.代码: //====================================================== // mimimn图片批 ...
Node.js meitulu图片批量下载爬虫1.051
原有1.05版程序没有断点续传模式,现在在最近程序基础上改写一版1.051. //====================================================== // m ...

Node.js制作图片下载爬虫的一般步骤

Node.js制作图片下载爬虫的一般步骤相关推荐

最新文章

热门文章