快速设置Scrapy随机的IP代理

一、把随机的IP列表定义在settings.py文件里面

PROXIES=['http://180.119.43.106:4228', 'http://106.56.246.104:4237', 'http://118.79.56.240:4278','http://223.215.175.132:4272', 'http://115.221.10.97:2316', 'http://182.87.239.182:4250','http://113.138.170.34:4659', 'http://182.246.158.172:4263', 'http://183.166.138.236:4248','http://114.237.230.132:2444', 'http://175.175.150.202:4211', 'http://124.112.214.13:4286','http://114.239.172.198:4236', 'http://110.19.188.168:6410', 'http://182.99.234.158:1659','http://182.108.168.170:4234', 'http://49.84.32.34:4203', 'http://121.226.45.229:8736','http://115.220.38.159:4208', 'http://118.79.9.64:6996']

以上这些代理，在你们看到文章的时候，可能已经不可用了。你们需要自己去寻找代理IP

二、在middleware文件里面添加一个代理中间件

import random
class PorxyMiddleware(object):#设置Proxydef __init__(self,ip):self.ip=ip@classmethoddef from_crawler(cls,crawler):return cls(ip=crawler.settings.get('PROXIES'))def process_request(self,request,spider):ip =random.choice(self.ip)request.meta['proxy'] = ip

三、在settings文件里面的下载器中间键启动自己定义的类

DOWNLOADER_MIDDLEWARES = {'dome1.middlewares.ProxyMiddleware':543
}

测试：

可以看到，我设置随机IP代理之后也是可以访问成功的

以上就是Scrapy设置代理IP的过程，以上教程如果觉得对你有帮助的话，请转发给更多人学习！

如果有什么疑问或者补充的可以联系我哦：1668544151@qq.com，欢迎关注微信公众号：数据爱好者！

快速设置Scrapy随机的IP代理相关推荐

免费IP代理池定时维护，封装通用爬虫工具类每次随机更新IP代理池跟UserAgent池，并制作简易流量爬虫...
前言我们之前的爬虫都是模拟成浏览器后直接爬取,并没有动态设置IP代理以及UserAgent标识,这样很容易被服务器封IP,因此需要设置IP代理,但又不想花钱买,网上有免费IP代理,但大多都数都是不可 ...
scrapy多cookies+ip代理稳定爬取微博m站评论以及子评论
为了以后的深度学习可以爬取更多更好的语料以及其他资源,先拿weibo移动端试了下手(果然一进就全是坑-) 1.分析weibo登陆以获取cookies 1)预请求获取服务器信息 2)构建请求登陆url ...
爬虫-Scrapy (十) 搭建ip代理池
每一个爬虫程序员都应该有一个ip池,就像每个战士都应该有一把风剑. 一.找到一个ip代理提供商提供ip代理的服务商很多,基本都会先提供些不稳定的免费ip,然后引导你消费,我们本次的目标就是把免费的i ...
Requests 和 Scrapy 添加动态IP代理
Requests import requests# 要访问的目标页面 targetUrl = "http://test.abuyun.com/proxy.php" #targetU ...
Scrapy学习-13-使用DownloaderMiddleware设置IP代理池及IP变换
设置IP代理池及IP变换方案方案一: 使用国内免费的IP代理 1 http://www.xicidaili.com # 创建一个tools文件夹,新建一个py文件,用于获取代理IP和PORT fro ...
python—简单数据抓取七（采取蘑菇API代理设置scrapy的代理IP池并利用redis形成队列依次使用，利用ip池访问网页并将scrapy爬取转移到items的数据存入到数据库）
学习目标: Python学习二十七-简单数据抓取七学习内容: 1.采取蘑菇API代理设置scrapy的代理IP池并利用redis形成队列依次使用 2.利用ip池访问网页并将scrapy爬取转移到it ...
爬虫学习笔记（十）—— Scrapy框架（五）：下载中间件、用户/IP代理池、settings文件
一.下载中间件下载中间件是一个用来hooks进Scrapy的request/response处理过程的框架. 它是一个轻量级的底层系统,用来全局修改scrapy的request和response. ...
[Python 爬虫] 使用 Scrapy 爬取新浪微博用户信息（四） —— 应对反爬技术（选取 User-Agent、添加 IP代理池以及Cookies池）
上一篇:[Python 爬虫] 使用 Scrapy 爬取新浪微博用户信息(三) -- 数据的持久化--使用MongoDB存储爬取的数据最近项目有些忙,很多需求紧急上线,所以一直没能完善< 使用 ...
爬虫ua设置及ip代理
运行平台:Windows Python版本:Python3.x IDE:Sublime text3 转载请注明作者和出处:http://blog.csdn.net/c406495762/artic ...

快速设置Scrapy随机的IP代理

一、把随机的IP列表定义在settings.py文件里面

以上这些代理，在你们看到文章的时候，可能已经不可用了。你们需要自己去寻找代理IP

二、在middleware文件里面添加一个代理中间件

三、在settings文件里面的下载器中间键启动自己定义的类

测试：

快速设置Scrapy随机的IP代理相关推荐

最新文章

热门文章