封装

common.js

let request = require("request");
let fs = require("fs");class Ut {/*** 下载网络图片* @param {object} opts */static downImg(opts = {}, path = '') {return new Promise((resolve, reject) => {request.get(opts).on('response', (response) => {console.log("img type:", response.headers['content-type'])}).pipe(fs.createWriteStream(path)).on("error", (e) => {console.log("pipe error", e)resolve('');}).on("finish", () => {console.log("finish");resolve("ok");}).on("close", () => {console.log("close");})})};
}module.exports = Ut;

测试普通网络图片

test.js 下载csdn自己的头像

let Ut = require("./common");(async () => {try {let url = "http://avatar.csdn.net/1/A/1/3_zzwwjjdj1.jpg";let opts = {url: url,};let path = "./1.jpg";let r1 = await Ut.downImg(opts, path);console.log(r1);}catch (e) {console.log(e);}
})()

运行

node test.js

测试防盗链图片

http://i.meizitu.net/thumbs/2018/01/117406_24c17_236.jpg

let Ut = require("./common");(async () => {try {let url = "http://i.meizitu.net/thumbs/2018/01/117406_24c17_236.jpg";let opts = {url: url,};let path = "./2.jpg";let r1 = await Ut.downImg(opts, path);console.log(r1);}catch (e) {console.log(e);}
})()

执行node test.js得到的不是原图，原图是个妹子图片

这个时候就要分析原网站防盗链的方法，这个网站需要在头部加上 Referer:http://www.mzitu.com/

let Ut = require("./common");(async () => {try {let url = "http://i.meizitu.net/thumbs/2018/01/117406_24c17_236.jpg";let opts = {url: url,headers: {'Referer': 'http://www.mzitu.com/',}};let path = "./2.jpg";let r1 = await Ut.downImg(opts, path);console.log(r1);}catch (e) {console.log(e);}
})()

再次运行node test.js 就会得到原图

完成。

意外金喜的博客：http://blog.csdn.net/zzwwjjdj1

node.js抓取网络图片保存到本地,node.js抓取防盗链网络图片保存到本地相关推荐

文章抓取显示盗链 php,web资源盗链与防盗链技术解析
摘要:什么是资源盗链?简单的说,就是某些不法的网站,通过在其自身网站程序里未经过许可非法调用其他网站的资源,然后在自己的网站上显示这些调用的资源,达到了填充自身网站显示的效果,但是浪费了调用资源网站的 ...
构建node.js基础镜像_我如何使用Node.js构建工作抓取网络应用
构建node.js基础镜像 by Oyetoke Tobi Emmanuel 由Oyetoke Tobi Emmanuel 我如何使用Node.js构建工作抓取网络应用 (How I built a ...
node.js开源文件服务器,本地node.js服务器搭建
本地node.js服务器搭建并通过浏览器访问服务器 1 2 3 github下载express https://github.com/expressjs/express 1.首先检查是否安装了nod ...
python可抓取数据包括什么_Python对JS型数据抓取有什么特别好的方法吗，pythonjs型抓取,想写一个爬虫,但是需要抓...
Python对JS型数据抓取有什么特别好的方法吗,pythonjs型抓取,想写一个爬虫,但是需要抓想写一个爬虫,但是需要抓去的的数据是js生成的,在源代码里看不到,要怎么才能抓到呢? 最好是用pyt ...
js和css被屏蔽了,是否屏蔽蜘蛛抓取JS和CSS文件
做网站的人都知道,在查看日志的时候,会发现JS.CSS文件被蜘蛛抓取的频率特别高,于是有人便考虑在robots.txt屏蔽蜘蛛抓取js和css文件,节省蜘蛛时间给其他页面.是否屏蔽蜘蛛抓取JS和CSS ...
Node.js (v19.1.0npm 8.19.3) vue.js安装配置教程（超详细）
Node.js (v19.1.0npm 8.19.3) vue.js安装配置教程(超详细) 目录一.安装Node(npm)需要的环境和版本发布信息 (1).Node版本和npm版本关系 (2).支持 ...
爬虫Spider 05 - 代理参数-proxies | 控制台抓包 | requests.post() | 动态加载数据抓取-Ajax
文章目录 Spider 04回顾 requests.get()参数常见的反爬机制及处理方式 Spider 05笔记代理参数-proxies **控制台抓包** **requests.post()参 ...
非常【刑】又可【拷】的fiddler抓包实战涵盖使用教程/下载安装/抓取手机app
Fiddler是一款非常强大的网络抓包工具,可以帮助我们分析HTTP/HTTPS协议的流量,从而深入了解网站的运行机制,发现安全风险和性能问题.下面是Fiddler工具的基础使用方法. 视频教程:非常 ...
node/js 漏洞_6个可用于检查Node.js中漏洞的工具
node/js 漏洞 Vulnerabilities can exist in all products. The larger your software grows, the greater th ...

node.js抓取网络图片保存到本地,node.js抓取防盗链网络图片保存到本地

封装

测试普通网络图片

运行

测试防盗链图片

意外金喜的博客：http://blog.csdn.net/zzwwjjdj1

node.js抓取网络图片保存到本地,node.js抓取防盗链网络图片保存到本地相关推荐

最新文章

热门文章