好用的 HTTP模块SuperAgent
SuperAgent
最近在写爬虫,看了下node
里面有啥关于ajax
的模块,发现superagent
这个模块灰常的好用。好东西要和大家分享,话不多说,开始吧~
什么是SuperAgent
superagent
它是一个强大并且可读性很好的轻量级ajax
API,是一个关于HTTP
方面的一个库,而且它可以将链式写法玩的出神入化。
var superagent = require('superagent');superagent.post('/api') .send({ 'key': 'value' }) .set('header_key', 'header_value') .end(function(err, res) { if (err) { //do something } else { //do something } })
安装SuperAgent
相信大家看到这篇博客的时候肯定对Node
和npm
有一定的了解了,所以直接使用npm
安装SuperAgent
到项目的包依赖中就好了。
$ npm install superagent --save
开始学习SuperAgent吧!
一般来说,我们常有的HTTP
请求包括GET
POST
DELETE
HEAD
PUT
这些。 在不同的应用场景,在发送请求的时候,会选择一个正确的请求方式,然后通过.end()
函数来得到请求后的返回结果。
superagent.get('/api') //这里的URL也可以是绝对路径.end(function(req,res){ //do something }) // 等价于==> superagent('GET','/api')//这里的URL也可以是绝对路径 .end(function(req,res){ //do something })
接下来,让我们逐一的对SuperAgent
的一些特性进行分析吧~?
设置请求头
这一点在写爬虫的时候十分的有用,因为有些网站可能设置了一些限制条件,比如它会去匹配你的请求头里面的一些字段, 像
User-Agent
Referer
等,如果你没有设置这些请求头的话,可能就抓取不到数据咯~SuperAgent
里面设置请求头很简单,通过使用set()
方法就可以设置了,有两种方式单个单个的设置
superagent.get('/api').set('Referer','https://www.google.com') .set('Accept','image/webp,image/*,*/*;q=0.8') .end(function(req,res){ //do something })
放在一起设置
superagent
.get('/api').set({'Referer','https://www.google.com', 'Accept','image/webp,image/*,*/*;q=0.8' }) .end(function(req,res){ //do something })
GET
请求方式我相信大家都一定见过这样类型的URL:
http://localhost:8080/api
和http://localhost:8080/api?id=1&price=10
,就是GET
方式可以带上参数,也可以不带上参数。不带参数的就不说了,相信大家都会,在superagent
中我们可以通过query()
方法给URL
后面带上参数,有4种写法//接下来所形成的URL为/api?name=An&age=20&sex=male//第一种superagent.get(/api).query({name:'An'}) .query({age:20}) .query({sex:'male'}) .end(cb) //第二种 superagent .get(/api) .query({name:'An',age:20,sex:'male'}) .end(cb) //第三种 superagent .get(/api) .query('name=An&age=20&sex=male') .end(cb) //第四种 superagent .get(/api) .query('name=An') .query('age=20') .query('sex=male') .end(cb)
head
请求head
请求也可以通过query()
的方式进行传递参数,大家可以参考?的GET
请求POST/PUT
请求这两种请求,一般是要给服务端发送数据,现在文本数据的方式一般都以
json
的方式传递。我们可以在请求头里设置Accept=application/json
,从而服务器可以根据请求头来生成json
数据(在java开发后台时可以这样)在
superagent
里面,默认的数据传递格式是json
,所以下面几种种方式是相同的。superagent.post('/api').set('Accept','application/json') .send('{"name":"An","age":20,"sex":"male"}') .end(cb) //等价于 ==> superagent .post('/api') .send({name:"An",age:20,sex:"male"}) .end(cb) //等价于 ==> superagent .post('/api') .send({name:"An"}) .send({age:20}) .sex({sex:'male'}) .end(cb)
当然,除了
json
的形式去传递,我们还有一种很常见的表单提交,在superagent
里,也实现了模拟表单的提交数据类型application/x-www-form-urlencoded
, 我们可以通过type('form')
方法进行转换superagent.post('/api').type('form') .send({name:'An',age:20}) // name=An&age=20 .end(cb)
有时候,我们也会在
POST
请求时,将一些参数放在URL
上面,那这个时候还是可以用query()
方法设置
Content-Type
的两种快速方式type()
方法accept()
方法这两种方法都可以接受规范的MIME格式,以及图片和
xml
等这些格式的数据。superagent
.post('/api').type('application/json').type('png')
// 等价于==>
superagent.post('/api').accept('application/json').accept('png')
分析处理
response body
superagent
可以帮你解析返回的数据,当前支持三种类型的数据application/x-www-form-urlencoded
application/json
和multipart/form-data
JSON/Urlencoded
解析后的数据会以对象的形式存在,可以通过res.body
来得到。'{"name":"An"}' //JSON String//解析 ==> { name:"An" //JSON Object }
Multipart
这种格式的数据的处理,superagent
是通过Formidable模块,它是主要处理文件上传的模块,大家可以去了解下,也是Node
里面十分常用的模块,也很简单易上手。上传的文件的信息可以在res.files
去查看,当然,我觉得这个属性用的比较少,这只是个人观点了~
Response
的属性res.text
包含为被解析的响应数据res.body
上文提到了,包含解析的数据,但是目前只支持三种格式res.header
响应头,是一个Object
res.type & res.charset
类型和编码格式res.status
状态码
终止请求
req.abort()
暂停请求req.timeout(ms)
ms
表示毫秒为单位的时间Basic Access Authentication
首先先简单的介绍下
Basic Access Authenication
,它是在web
应用中,通过直接提供用户名、密码来进行验证身份的一种优化的解决方案。原理是将用户名和密码通过
:
连接,形成username:password
然后再进行base64
加密,发送到服务器后再进行解密得到用户名和密码,进行进一步的匹配验证。参考文章:HTTP Basic Authentication认证。在
superagent
里,有两种方式进行验证superagent.get('http://username:password@localhost').end(cb)//等价于 ==> superagent .get('http://localhost') .auth('username','password') .end(cb)
可以通过
pipe
管道流入流出数据我想大家应该知道
node
里面有个核心特性就是stream
,如果不知道的,可以参考:nodejs中流(stream)的理解,举两个栗子://第一个例子var fs = require('fs'); var request = require('superagent'); var postJson = fs.createReadStream('./postDataJson'); var req= request.post('/api'); req.accept('json'); stream.pipe(req); //第二个例子 var fs = require('fs'); var request = require('superagent'); var getData = fs.createWriteStream('./getData'); var res= request.get('/api'); res.pipe(getData);
添加多个附件
superagent
也提供了一些高级的API
,如果你想添加多个附件可以使用attach(name,[path],[filename])
,其中你可以通过filename
来自定义上传后文件的文件名request.post('/upload').attach('avator','/path/a.png','An.png') .attach('photo','/path/b.png') .end(cb)
复合请求
superagent
也支持复合请求,比如你想上传一个带有你的姓名和邮箱的图片,那可以通过field(name,value)
方法request.post('/upload').field('name','An') .field('age':20) .attach('avator','/path/a.png','An.png') .end(cb)
错误处理
有时候我们可能会因为不同的原因得到
4XX
或者5XX
的错误,这个时候我们确实是可以从end(function(err,res){...})
里的err
得到错误信息,比如er.status
错误的状态码啥的,但是有些时候我们想去处理这些错误,重新发送一个别的请求啥的,那么这个时候我们可以通过on('error',handleFn)
去处理了request.post('/api').send(data).on('error',handleFn) .end(cb);
最后
我相信看到这里,大家对于superagent
这个模块应该不陌生了吧,那大家还在等什么,快去用它做一个小爬虫吧,检验下你学习的成果! 当然,如果你在写爬虫之前去学习一些cheerio,就可以少写点恶心的正则表达式了。
附上blog
的github地址
如果这篇文章对你有所帮助,希望你能给我一个star,如果你有啥建议,欢迎和我交流哦。?⛽️?
作者:一个胖子的我
链接:http://www.jianshu.com/p/98b854322260
來源:简书
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。
转载于:https://www.cnblogs.com/Gbeniot/p/7300911.html
好用的 HTTP模块SuperAgent相关推荐
- HTTP模块SuperAgent
superagent它是一个强大并且可读性很好的轻量级ajaxAPI,是一个关于HTTP方面的一个库,而且它可以将链式写法玩的出神入化. var superagent = require('super ...
- HTTP模块SuperAgent(轻量级ajaxAPI)
什么是SuperAgent ? superagent它是一个强大并且可读性很好的轻量级ajaxAPI,是一个关于HTTP方面的一个库,可运用于node. var superagent = requir ...
- nodejs爬虫与php爬虫,利用nodejs爬虫使用superagent和cheerio的方法
这篇文章主要介绍了nodejs爬虫初试superagent和cheerio的相关知识,非常不错,具有参考借鉴价值,需要的朋友可以参考下 前言 早就听过爬虫,这几天开始学习nodejs,写了个爬虫htt ...
- Node爬取简书首页文章
Node爬取简书首页文章 博主刚学node,打算写个爬虫练练手,这次的爬虫目标是简书的首页文章 流程分析 使用superagent发送http请求到服务端,获取HTML文本 用cheerio解析获得的 ...
- 用Promise实现队列(爬一爬慕课网HTML代码)
项目初始化 创建一个package.json文件,webstorm快捷创建package.json非常简单. 使用 npm init 快速创建. 工具模块 需要下载的的模块 superagent 页面 ...
- nodejs爬虫与python爬虫_node爬虫实践总结
本文作者:IMWeb skeanmy 未经同意,禁止转载 网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本 ...
- 关于代码家(干货集中营)共享知识点汇总系列——前端
关于代码家(干货集中营)共享的所有知识点前端部分的汇总,后续每周会对其进行更新 更多内容请选择以下入口 关于代码家(干货集中营)共享知识点汇总系列--Android 关于代码家(干货集中营)共享知识点 ...
- 基于nodejs爬虫
爬接口数据 var https = require('https'); https.get('https://api.readhub.cn/topic?lastCursor=76823&pag ...
- superagent 模块
SuperAgent superagent 是一个轻量的,渐进式的ajax api,可读性好,学习曲线低,内部依赖nodejs原生的请求api,适用于nodejs环境下. 一个简单的post请求,并设 ...
最新文章
- linux查看rabbitmq运行状态,RabbitMQ常用命令
- Android数据存储之SD卡
- Algorithm Course Review(1.1)
- 好程序员分享Java开发常用规范技巧二
- Web development mistakes
- (超简单思路)U - C语言实验——单词统计
- 7个示例科普CPU CACHE(zz)
- android 利用cmdline,将參数从preloader传递到kernel
- 烟雨在线要饭系统v2.0源码
- 使用VBA在WORD中插入漂亮的代码
- background简写
- vim 快速删除一个英文单词
- 我的Effective C++读书笔记
- 搜狗浏览器与IE9评测比较
- 常用软件测试工具 ,赶紧收藏
- 简易电梯控制系统设计(两层楼)(
- 怎么做app开发?如何去开发适合自己企业的APP应用
- 采购预制发票MIR7 发票校验屏幕格式调整
- vue高德多条轨迹导航+带途径节点标注+各路线颜色区别
- U盘装机大师安装WIN7系统