node.js爬取美女图片

一、准备工作

首先找一个美女图片网站，这里我选用的是唯美女生，看起来像一个个人维护的网站。

分析页面结构：

1、主页主体部分就是图集列表；

2、URL的形式为 BaseUrl + "/page/" + PageIndex

3、每个图集点击进入就可获取全部图片，不用翻页，相对简单

分析页面元素：

1、图集==>body>div.update_area>div.update_area_content>ul.update_area_lists>li.i_list list_n2>a>img.waitpic

2、图片==>body>div.main>div.main_inner>div.main_left>div.content>div.content_left>p>a>img

二、代码

const superagent = require('superagent');
const charset = require('superagent-charset');
const async = require('async');
const fs = require('fs');
const request = require('request');
const cheerio = require('cheerio');
charset(superagent);const baseUrl = 'https://www.vmgirls.com/'
let type =  'page';
let page =  '12';
var route = `${type}/${page}`mkdirs('./image/'+page,function(){getPageUrl(baseUrl+route,page)
})function getPageUrl(url,page){superagent.get(url).charset('UTF-8').end(function(err, sres) {var items = [];var images = [];if (err) {console.log('ERR: ' + err);return;}else{var $ = cheerio.load(sres.text);$('div.update_area ul.update_area_lists li.i_list a').each(function(idx, element) {var $element = $(element);var url = $element.attr('href');var title = $element.attr('title');var name = page+"-"+idx+title;items.push({title: title,name: name,url: url});});getImgUrl(items,0,page)}        });
}function getImgUrl(its,ind,page){ if(ind>=its.length){console.log("page:"+page+"-"+ind)}else{it = its[ind];superagent.get(its[ind].url).charset('UTF-8').end(function(err, sres) {var items = [];if (err) {console.log('ERR: ' + err);}else{var $ = cheerio.load(sres.text);$('div.main div.main_left div.content div.content_left p img').each(function(idx, element) {var $element = $(element);var src = $element.attr('src');var name = it.name+"-"+idx+".jpg";items.push({name: name,src: src});});async.mapSeries(items,function(item, callback){                   setTimeout(function(){savedImg(item.src, item.name,page,function(){callback(null, item);});                    },100);                                       }, function(err, results){                getImgUrl(its,ind+1,page)});}       });}}function savedImg(img_src,name,page,callback) {       try{request.head(img_src);var writeStream = fs.createWriteStream('./image/'+page+'/'+name);var readStream = request({url: img_src, timeout: 15000})readStream.pipe(writeStream);readStream.on('end', function(response) {writeStream.end();});writeStream.on("finish", function() {callback();});}catch(ex){console.log(ex);callback();}
}function mkdirs(dirpath,_callback) {var dirArray = dirpath.split('/');fs.exists( dirpath ,function(exists){if(!exists){mkdir(0, dirArray,function(){console.log('文件夹创建完毕!准备写入文件!');_callback();});}else{console.log('文件夹已经存在!准备写入文件!');_callback();}});
}function  mkdir(pos, dirArray,_callback){var len = dirArray.length;console.log(len);if( pos >= len || pos > 10){_callback();return;}var currentDir = '';for(var i= 0; i <=pos; i++){if(i!=0)currentDir+='/';currentDir += dirArray[i];}fs.exists(currentDir,function(exists){if(!exists){fs.mkdir(currentDir,function(err){if(err){console.log('创建文件夹出错！');}else{console.log(currentDir+'文件夹-创建成功！');mkdir(pos+1,dirArray,_callback);}});}else{console.log(currentDir+'文件夹-已存在！');mkdir(pos+1,dirArray,_callback);}});
}

这里我用的是vscode，运行后先创建文件夹，随后根据URL获取图集的链接，然后遍历链接获取图集中图片并保存到本地。

更多内容看github:https://github.com/bloodymandoo/vmgirls

node.js爬取美女图片（一）相关推荐

Scrapy爬取美女图片续集 (原创)
上一篇咱们讲解了Scrapy的工作机制和如何使用Scrapy爬取美女图片,而今天接着讲解Scrapy爬取美女图片,不过采取了不同的方式和代码实现,对Scrapy的功能进行更深入的运用. 在学习Scra ...
python爬取美女图片的练习
python 爬取美女图片的练习主要使用 xpath 定位获取图片的链接本次练习使用到os库 ,lmxl库 , requests库 import requests from lxml impor ...
使用python3爬取美女图片
给大佬们观赏观赏,爬取美女图片,各位大佬们小心身子哈. #目标:爬取网页所有图片并保存到本地 #目标url = http://www.umei.cc/tags/meishaonv_1.htm impo ...
Scrapy爬取美女图片续集
上一篇咱们讲解了Scrapy的工作机制和如何使用Scrapy爬取美女图片,而今天接着讲解Scrapy爬取美女图片,不过采取了不同的方式和代码实现,对Scrapy的功能进行更深入的运用. 在学习Scra ...
爬取美女图片保存本地与入MySQL库(宅男福利)
本文详细记录如何爬取美女图片,并将图片下载保存在本地,同时将图片url进行入库.保存在本地肯定是为了没事能拿出来养养眼啊,那入库就是为了定位图片啊,要懂点技术的话,还能搬运搬运做个小图片网站,不为别的 ...
Python网络爬虫（四）：selenium+chrome爬取美女图片
说明: Python版本:Python IDE:PyCharm chrome版本:我的版本63 chromedriver.exe:因为是模拟浏览器访问,chrome需要再下载一个驱动,具体方式在我的上 ...
python爬虫爬取美女图片(selenium)
之前爬一个美女图片网站,因为是动态加载网站,爬下来的图片全是转呀转的GIF图,气死我了,学了selenium之后,龙王归来,势在必得先看需要的库 from selenium import webdr ...
爬取美女图片实现翻页
我们先上url,链接:https://www.xiurenwang.vip/bang?f=2 图片内容我就不展示了,自己可以打开看下打开浏览器进行抓包,找个type为document的响应源码,搜索 ...
用 node.js 爬取煎蛋网照片（仅做学习之用）
主要是用到 puppeteer npm i puppeteer 具体配置看官网入口文件 const puppeteer = require('puppeteer'); const { mn } = ...

node.js爬取美女图片（一）

node.js爬取美女图片

一、准备工作

二、代码

node.js爬取美女图片（一）相关推荐

最新文章

热门文章