nodejs爬虫淘宝详情图

第一步：cmd 进入命令版界面
第二步：输入D: 进入D盘
第三步：创建项目文件：mkdir nodetaobao(项目名)
第四步：进入创建的项目：cd nodetaobao
第五步：初始化项目：npm init
然后安装各种依赖模块，新建一个images文件夹装爬虫下拉的图片，创建start.js文件
复制一下内容代码，然后node start.js就可以下载文件了

var https = require('https')
var request = require('request')
var cheerio = require('cheerio')
var fs = require('fs')
var images = require('images')// 商品详情网址(每次只需替换这个地址就行了) 运行文件 node start.js
var url = 'https://item.taobao.com/item.htm?id=592293023396&scm=1007.12144.81309.359571_0_0&pvid=56bf99e6-c060-4ff0-8354-998718dde11f&utparam=%7B%22x_hestia_source%22%3A%22359571%22%2C%22x_object_type%22%3A%22item%22%2C%22x_mt%22%3A8%2C%22x_src%22%3A%22359571%22%2C%22x_pos%22%3A9%2C%22x_pvid%22%3A%2256bf99e6-c060-4ff0-8354-998718dde11f%22%2C%22x_object_id%22%3A592293023396%7D'function startPage(x) {https.get(x, function(res) {var html ='' //用来存储请求网页的整个html内容res.setEncoding('utf-8') // 防止中文乱码// 监听data事件，每次取一次数据res.on('data', function(chunk) {html +=chunk})res.on('end', function() {var $ =cheerio.load(html) // 采用cheerio模块解析htmlvar content = $('html').find('script')// console.log(content)content.each(function(i, elem) {var script = $(this).html();if (script.match('apiImgInfo  :')){var newarry = script.split(',')for (const key in newarry) {if(newarry[key].indexOf('apiImgInfo  ')>0){var newUrl = newarry[key].split(':')// console.log(newUrl)var pageUrl = 'http:'+newUrl[1].replace(/\\/g, "").replace(/\'/g,'').replace(/^\s*/,"");// console.log(pageUrl)// var pageUrl= 'http://tds.alicdn.com/json/item_imgs.htm?t=TB1B7_Tbhn1gK0jSZKPXXXvUXXa&sid=2144097515&id=573011542300&s=f4fc2076503684f96bf9fa5a7eccecde&v=2&m=1'var pageUrls = pageUrl.split('&')for (const key in pageUrls) {if(pageUrls[key].indexOf('id') > 0) {var idVaule = pageUrls[key].split('=')[1]setTimeout(() => {sendpage(pageUrl,idVaule)}, 2200);}}}}}});getMainImages($)})})
}// 获取详情图
function sendpage(y,idVaule){request({url:y}, function (error, response, body) {if (!error && response.statusCode == 200) {var reuslt = body.split(':')for (const key in reuslt) {if(reuslt[key].indexOf(idVaule)>0){var index = reuslt[key].indexOf(',')var text = reuslt[key].slice(index+1).replace(/\"/g, "")var img_src = 'https://img.alicdn.com/imgextra/i2/'+idVaule+'/' + text; //获取图片的url// 采用request模块，向服务器发起一次请求，获取图片资源request.head(img_src, function(err,res,body) {if(err) {console.log(err)}})// request(img_src).pipe(fs.createWriteStream('./images/' + '详情图' + key + '.jpg'))var writeStream = fs.createWriteStream('./images/' + '详情图' + key +'.jpg');var readStream = request(img_src)readStream.pipe(writeStream);readStream.on('end', function(response) {console.log('详情图'+key+'下载成功');writeStream.end();});writeStream.on("finish", function() {// console.log("ok");setTimeout(() => {images('./images/'+'详情图' + key + '.jpg').size(750).save('./images/'+'详情图' + key + '.jpg');}, 2000);})}}}})}// 获取主图function getMainImages($) {$('.tb-s50 a img').each(function(index,item){var srcImg = ''if($(this).attr('data-src').indexOf('htt') > -1){var srcImg =$(this).attr('data-src').replace('50x50','800x800')} else{var srcImg ='https:'+$(this).attr('data-src').replace('50x50','800x800')}// 采用request模块，向服务器发起一次请求，获取图片资源request.head(srcImg, function(err,res,body) {if(err) {console.log(err)}})// request(srcImg).pipe(fs.createWriteStream('./images/' + '主图' + index +'.jpg'))var writeStream = fs.createWriteStream('./images/' + '主图' + index +'.jpg');var readStream = request(srcImg)readStream.pipe(writeStream);readStream.on('end', function(response) {console.log('主图'+index+'下载成功');writeStream.end();});writeStream.on("finish", function() {// console.log("ok");images('./images/'+'主图' + index + '.jpg').size(750).save('./images/'+'主图' + index + '.jpg');})})}startPage(url)

一定要安装nodejs才可以
运行成功下载的图片

nodejs爬虫淘宝详情图相关推荐

弘辽科技：更换淘宝详情页会影响权重吗？主图可以一次性全换吗？
原标题<弘辽科技:更换淘宝详情页会影响权重吗?主图可以一次性全换吗?> 有时候我们需要更换淘宝宝贝的详情页,那么淘宝详情页能一次性全换吗?更换详情页会影响权重吗?下面小编就跟大家分析一下淘 ...
用思维导图来制作淘宝详情页
突发灵感,用思维导图来制作淘宝详情页,比之前文字版的直观多了,如下图: 导图用途太多了!希望对你有启发之前的文本版的对比: 转载于:https://www.cnblogs.com/pinpkm/p/ ...
【S0022】【素材】双12促销海报，淘宝详情页，主图
[S0022][素材]双12促销海报,淘宝详情页,主图
仿淘宝详情页轮播图效果实现
仿淘宝详情页轮播图效果实现图片路径记得修改.js源文件记得导入! <!doctype html> <head> <meta charset="UTF-8 ...
Python爬虫淘宝商品详情页价格、类似数据
在讲爬取淘宝详情页数据之前,先来介绍一款 Chrome 插件:Toggle JavaScript (它可以选择让网页是否显示 js 动态加载的内容),如下图所示: 当这个插件处于关闭状态时,待爬取 ...
淘宝商品详情页API接口、淘宝商品销量API接口、淘宝商品列表API接口、淘宝APP详情API接口、淘宝详情API接口
大家都知道,淘宝的反爬虫机制十分严,而很多时候,没办法高效的拿到数据内容响应终端需求,而依赖爬虫就会造成动不动就出现滑块验证,让人很无解,正好,公司有这样的需求,让我负责解决这个问题,刚开始各种尝试, ...
淘宝商品详情页API接口、淘宝商品列表API接口，淘宝商品销量API接口，淘宝APP详情API接口，淘宝详情API接口
淘宝商品列表和商品详情及淘宝实时销量采集遇到滑块验证码的解决方法(带SKU和商品描述,可高并发),主要是解决了高频情况下的阿里系滑块和必须要N多小号才能解决的反扒问题,以后都可以使用以下的方法,包括淘 ...
弘辽科技：优秀的淘宝详情页应包含哪些内容？
原标题<弘辽科技:优秀的淘宝详情页应包含哪些内容?> 淘宝详情页是影响顾客是否愿意下单的重要因素之一.宝贝的详情页不但会影响商品的转化,而且也反映出客户浏览商品的时长,对权重排名以及流量的 ...
如何制作淘宝主图视频
至今为止,使用到淘宝主图视频的店铺还是并不多见,但是相信很多淘宝卖家对于"淘宝主图视频"多少有一些了解.段长度为9秒钟的淘宝主图视频,这个视频将在买家打开宝贝详情页的时候进行播放 ...

nodejs爬虫淘宝详情图

nodejs爬虫淘宝详情图相关推荐

最新文章

热门文章