Node.js mzitu图片批量下载爬虫1.00
又攻下一座山头。
//====================================================== // mzitu图片批量下载爬虫1.00 // 2017年11月19日 //======================================================// 内置https模块 //var https=require("https");// 内置http模块 var http=require("http");// 内置文件处理模块,用于创建目录和图片文件 var fs=require('fs');// 用于转码。非Utf8的网页如gb2132会有乱码问题,需要iconv将其转码 var iconv = require('iconv-lite');// cheerio模块,提供了类似jQuery的功能,用于从HTML code中查找图片地址和下一页 var cheerio = require("cheerio");// 请求参数JSON。http和https都有使用 var options;// request请求 var req;// 图片数组,找到的图片地址会放到这里 var pictures=[];// 存放图片的目录 var folder="";//-------------------------------------- // 爬取网页,找图片地址,再爬 // pageUrl sample:https://www.4493.com/xingganmote/136346/1.htm // pageUrl sample: //-------------------------------------- function crawl(pageUrl){console.log("Current page="+pageUrl);// 得到hostname和pathvar currUrl=pageUrl.replace("http://","");var pos=currUrl.indexOf("/");var hostname=currUrl.slice(0,pos); var path=currUrl.slice(pos); //console.log("hostname="+hostname);//console.log("path="+path);// 初始化options options={hostname:hostname,port:80,path:path,// 子路径method:'GET', };req=http.request(options,function(resp){var html = [];resp.on("data", function(data) {html.push(data);})resp.on("end", function() {var buffer = Buffer.concat(html);var body = buffer.toString();//console.log(body);var $ = cheerio.load(body); var picCount=0;// 找图片放入数组$(".main-image p a img").each(function(index,element){var picUrl=$(element).attr("src");console.log(picUrl);if(picUrl.indexOf('.jpg')!=-1){pictures.push(picUrl); picCount++;} }) console.log("找到图片"+picCount+"张."); var nextPageUrl=null;// 找下一页$(".pagenavi a").each(function(index,element){var text=$(element).text();if(text.indexOf('下一页')!=-1){nextPageUrl=$(element).attr("href"); //nextPageUrl="http://www.mmonly.cc/mmtp/xgmn/"+nextPageUrl;console.log("找到下一页="+nextPageUrl);} })if(nextPageUrl==null){console.log(pageUrl+"已经是最后一页了.\n");saveFile(pageUrl,pictures);// 保存 download(pictures);}else{console.log("继续下一页");crawl(nextPageUrl);}}).on("error", function() {saveFile(pageUrl,pictures);// 保存console.log("crawl函数失败,请进入断点续传模式继续进行");})});// 超时处理req.setTimeout(7500,function(){req.abort();});// 出错处理req.on('error',function(err){console.log('请求发生错误'+err); saveFile(pageUrl,pictures);// 保存console.log("crawl函数失败,请进入断点续传模式继续进行");});// 请求结束 req.end(); }//-------------------------------------- // 下载图片 //-------------------------------------- function download(pictures){var total=0;total=pictures.length;console.log("总计有"+total+"张图片将被下载.");appendToLogfile(folder,"总计有"+total+"张图片将被下载.\n");for(var i=0;i<pictures.length;i++){var picUrl=pictures[i];downloadPic(picUrl,folder);} }//-------------------------------------- // 写log文件 //-------------------------------------- function appendToLogfile(folder,text){fs.appendFile('./'+folder+'/log.txt', text, function (err) {if(err){console.log("不能书写log文件");console.log(err);}}); }//-------------------------------------- // 取得当前时间 //-------------------------------------- function getNowFormatDate() {var date = new Date();var seperator1 = "-";var seperator2 = "_";var month = date.getMonth() + 1;var strDate = date.getDate();if (month >= 1 && month <= 9) {month = "0" + month;}if (strDate >= 0 && strDate <= 9) {strDate = "0" + strDate;}var currentdate =date.getFullYear() + seperator1 + month + seperator1 + strDate+ " " + date.getHours() + seperator2 + date.getMinutes()+ seperator2 + date.getSeconds();return currentdate; }//-------------------------------------- // 下载单张图片 // picUrl sample:http://i.meizitu.net/2017/11/18b01.jpg //-------------------------------------- function downloadPic(picUrl,folder){console.log("图片:"+picUrl+"下载开始");// 得到hostname,path和portvar currUrl=picUrl.replace("http://","");var pos=currUrl.indexOf("/");var hostname=currUrl.slice(0,pos); var path=currUrl.slice(pos);// 有端口加端口,没有端口默认80var port=80;//console.log("hostname="+hostname);//console.log("path="+path);//console.log("port="+port);var picName=currUrl.slice(currUrl.lastIndexOf("/"));// 初始化options options={hostname:hostname,port:port,path:path,method:'GET',headers:{'Referer':'http://i.meizitu.net',},};req=http.request(options,function(resp){var imgData = "";resp.setEncoding("binary"); resp.on('data',function(chunk){imgData+=chunk; });resp.on('end',function(){ // 创建文件var fileName="./"+folder+picName;fs.writeFile(fileName, imgData, "binary", function(err){if(err){console.log("[downloadPic]文件 "+fileName+" 下载失败.");console.log(err);appendToLogfile(folder,"文件 "+picUrl+" 下载失败.\n");}else{appendToLogfile(folder,"文件 "+picUrl+" 下载成功.\n");console.log("文件"+fileName+"下载成功");}}); });});// 超时处理req.setTimeout(7500,function(){req.abort();});// 出错处理req.on('error',function(err){if(err){console.log('[downloadPic]文件 '+picUrl+" 下载失败,"+'因为'+err);appendToLogfile(folder,"文件"+picUrl+"下载失败.\n");}});// 请求结束 req.end(); }//-------------------------------------- // 程序入口 //-------------------------------------- function getInput(){process.stdin.resume(); process.stdout.write("\033[33m 新建模式输入第一页URL,断点续传模式输入0,请输入: \033[39m");// 草黄色process.stdin.setEncoding('utf8');process.stdin.on('data',function(text){var input=text.trim();process.stdin.end();// 退出输入状态 if(text.trim()=='0'){process.stdout.write("\033[36m 进入断点续传模式. \033[39m"); // 蓝绿色// Read Filefs.readFile('./save.dat','utf8',function(err,data){if(err){console.log('读取文件save.dat失败,因为'+err);}else{//console.log(data);var obj=JSON.parse(data);pictures=obj.pictures;console.log('提取图片'+pictures.length+'张');folder=obj.folder;// 创建目录fs.mkdir('./'+folder,function(err){if(err){console.log("目录"+folder+"已经存在");}});crawl(obj.url); }});// Resume crawl}else{process.stdout.write("\033[35m 进入新建模式. \033[039m"); //紫色 folder='pictures('+getNowFormatDate()+")";// 创建目录fs.mkdir('./'+folder,function(err){if(err){console.log("目录"+folder+"已经存在");}});crawl(input); }}); }//-------------------------------------- // 将爬行中信息存入数据文件 //-------------------------------------- function saveFile(url,pictures){var obj=new Object;obj.url=url;obj.pictures=pictures;obj.folder=folder;var text=JSON.stringify(obj);fs.writeFile('./save.dat',text,function(err){if(err){console.log('写入文件save.dat失败,因为'+err);}}); }// 调用getInput函数,程序开始 getInput();
2017年11月20日07:43:50
Node.js mzitu图片批量下载爬虫1.00相关推荐
- Node.js monly图片批量下载爬虫1.00
此爬虫又用到了iconv转码,代码如下: //====================================================== // mmonly图片批量下载爬虫1.00 ...
- Node.js mimimn图片批量下载爬虫 1.00
这个爬虫在Referer设置上和其它爬虫相比有特殊性.代码: //====================================================== // mimimn图片批 ...
- Node.js meitulu图片批量下载爬虫1.051
原有1.05版程序没有断点续传模式,现在在最近程序基础上改写一版1.051. //====================================================== // m ...
- Node.js aitaotu图片批量下载Node.js爬虫1.00版
即使是https网页,解析的方式也不是一致的,需要多试试. 代码: //====================================================== // aitaot ...
- Node.js umei图片批量下载Node.js爬虫1.00
这个爬虫在abaike爬虫的基础上改改图片路径和下一页路径就出来了,代码如下: //====================================================== // ...
- 【pyhon】nvshens图片批量下载爬虫1.01
# nvshens图片批量下载爬虫1.01 # 原先版本在遇到网络故障时回下载不全,这回更改了模式使得下载不成就重新下载,直到全部下载完毕 from bs4 import BeautifulSoup ...
- 【pyhon】怨灵侍全本漫画批量下载爬虫1.00
代码: # 怨灵侍全本漫画批量下载爬虫1.00 # 拜CARTOON.fydupiwu.com整理有序所赐,寻找图片只要观察出规律即可,不用费劲下一页的找了 import time import ur ...
- 【Chrome】图片批量下载扩展zzllrr Imager小乐图客V1.4 (支持正则表达式、自定义JS代码、自定义引擎、多网站取图规则)...
小乐图客 - Chrome浏览器图片批量下载工具,升级至V1.4 该版本实现的功能: 1.右下角集成众多网站引擎(相似图片搜索.图片搜索.网页搜索.图片上传等等). 2.选项中增加各类设置的重置.导入 ...
- Node.js脚本项目合集(一):Node.js+FFmpeg实现批量从B站导出离线缓存视频到mp4格式,mp4转mp3,实现听歌自由
Node.js脚本项目合集(一):Node.js+FFmpeg实现批量从B站导出离线缓存视频到mp4格式,mp4转mp3,实现听歌自由 前言 一.准备工作以及介绍 1.什么是FFmpeg 2.FFmp ...
- 自己动手写工具:百度图片批量下载器
开篇:在某些场景下,我们想要对百度图片搜出来的东东进行保存,但是一个一个得下载保存不仅耗时而且费劲,有木有一种方法能够简化我们的工作量呢,让我们在离线模式下也能爽爽地浏览大量的美图呢?于是,我们想到了 ...
最新文章
- git cherry-pick 使用
- 正在直播 | 美女小编带你看2019世界人工智能大会
- Java代码中变量的特殊修饰符/修饰词/关键字
- HTML/CSS基础知识(四)
- Linux lua 性能,systemTab动态分析linux下lua性能
- 如何在Postgresql中使用模糊字符串匹配
- 董树义 近代微波测量技术_论文发表 | 基于微波雷达的1200米大跨悬索桥多点变形同步测量...
- shell脚本大全(一)
- 如何让你的技术团队成员自觉工作
- ardupilot 关于设备车Rover的学习《3》------模式控制
- OAF: 怎样创建 DFF
- 用百度地图进行搜索周边的建筑,医院,餐厅,学校等。
- 「视频」迪士尼研发机器人皮肤,能做个大白吗?
- 源码安装nginx 1.23.1
- oracle比较两个时间
- 猿如意|程序员的如意神器之【chat GPT】测评。
- 嵌入式cmp指令的判断标志位_嵌入式开发的基础知识
- 小节点也能引爆活动!2021四月活动指导方案
- 一文读懂供应链金融及其衍生产品
- 成功说服别人的20个技巧
热门文章
- python毕业设计作品基于django框架 电影院购票选座系统毕设成品(5)任务书
- zblog仿站教程 - 常用模板标签
- 科技文献检索(七)——检索工具
- ngix反向代理配置
- HUSTOJ搭建2021
- 元进Python(3)---如何实现IP子网掩码计算器功能?
- ipv6 ospf配置方法_思科路由器 RIP、OSPF、EIGRP 路由协议最简单的配置实例详解
- 如何在NVivo中获得最佳质量的音频和最佳的转录准确性
- DC-DC LLC转换器 matlab simulink仿真显示了一个DC-DC LLC功率转换器与频率控制
- selenium chromedriver 下载地址