Node——request使用代理

本文知识点

Node环境搭建
使用代理
进阶学习

环境配置

Node
安装request

安装request

npm install request

确认环境安装无误

node -v

代码样例

使用代理

let request = require('request'); // 引入第三方request库
let util = require('util');
let zlib = require('zlib');// 要访问的目标地址
let page_url = 'http://dev.kdlapi.com/testproxy'// 代理服务器ip和端口,由快代理提供
let proxy_ip = '47.115.36.94';
let proxy_port = 16816;// 完整代理服务器url
let proxy = util.format('http://%s:%d', proxy_ip, proxy_port);  // 发起请求
request({url: page_url,method: 'GET',proxy: proxy,headers: {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3100.0 Safari/537.36","Accept-Encoding": "gzip"   // 使用gzip压缩让数据传输更快},encoding: null,  // 方便解压缩返回的数据
}, function(error, res, body) {if (!error && res.statusCode == 200) {// 输出返回内容(使用了gzip压缩)if (res.headers['content-encoding'] && res.headers['content-encoding'].indexOf('gzip') != -1) {zlib.gunzip(body, function(err, dezipped) {console.log(dezipped.toString()); });} else {// 输出返回内容(没有使用gzip压缩)console.log(body);}} else {console.log(error);}
});

运行下

进阶学习

request官方文档
代理IP

Node——request使用代理相关推荐

node+express+http-proxy-middleware代理转发
node+express+http-proxy-middleware代理转发 @(node代理转发)[http-proxy|node实现前后端分离|] 文章,欢迎进入我的博客:www.jaxqin.c ...
node.js服务器代理
一.node.js服务器代理 1.使用nodejs实现代理,解决前端浏览器的同源策略导致的跨域问题 2.跨域只存在于浏览器端,服务器端是不存在同源策略 3.利用第三方模块http-proxy-midd ...
python爬虫小知识：通过 request库代理proxies来设置，无法访问问题
通过 request库代理proxies来设置防止封ip后无法访问问题 1.为什么使用代理 2.request 如何设置代理需要替换里面的代理池 3.设置需要身份认证的代理 4.request ...
【python】request HTTPS代理
之前版本的代理中,可以使用fiddler进行HTTP包的代理,但是代理HTTPS包时,执行错误 self._sslobj.do_handshake() ssl.SSLError: [SSL: CERT ...
python爬虫request设置代理IP原理
在我们书写爬虫程序的时候,可能都多多少少会遇到ip被封的问题,或者说ip被限制的问题,那么就需要用到ip代理了,那么ip代理在request里面的原理究竟是怎么实现的呢?下面来了解一下. 单个ip设置 ...
urllib.request 设置代理进行爬取,防止被封IP,各种hander高级用法
import urllib.request proxy_handler = urllib.request.ProxyHandler({ 'http': 'http://127.0.0.1:9743', ...
python request 不走代理proxy
一般情况下,如果系统没有配置网络代理的话,python的request包请求url地址时,是不会走代理的: 举例:如果在linux系统中配置了代理,则request请求会通过代理进行访问: 如果用py ...
Python 多线程、利用request使用代理、利用递归深度抓取电影网页的内容并将电影的介绍和下载链接保存到mysql中
本文仅为学习python过程的一个笔记,其中还有一些bug! 还请各位大佬赐教有些专业的说法还不是很熟悉,欢迎各位大佬帮忙指出本人时一个新晋奶爸,而立之年突然想转业,想学习python 先介绍一个 ...
node 爬虫处理cookie，代理
存储cookie 将服务器传过来的cookie存储在内存中 let parseCookie=function (cookie) {let cookies={};if (!cookie) {return ...
android studio使用nodejs本地服务器json数据_使用Node.js的Alexa技巧
可以使用AlexaLambda函数或RESTAPI端点开发Alexa技能.Lambda函数是Amazon实现AWS中提供的无服务器功能.Amazon建议使用Lambda函数,尽管它们不容易调试.虽然您 ...

Node——request使用代理

本文知识点

环境配置

代码样例

进阶学习

Node——request使用代理相关推荐

最新文章

热门文章