python爬虫之:IP代理池开源项目讲解
Table of Contents
一、项目基本介绍
二、项目讲解
三、一些项目问题答疑
四、代理池设计
一、项目基本介绍
本项目来源于github,截止于2019/08/20,star数量:7133, Fork 数量:2135 。
github地址:https://github.com/jhao104/proxy_pool
码云下载地址:https://gitee.com/stefan1240/proxy_pool.git
项目通过爬虫方式持续抓取代理网站公布的免费代理IP,实时校验,维护部分可以使用的代理,并通过api的形式提供外部使用。
项目基本框图如下:
二、项目讲解
本项目的详细代码分析,已经公开在源讲解 这个网站里面了,大家可以前往该站点查看。
项目地址:http://www.yuanshare.cn/books/crawler
三、一些项目问题答疑
构建一个代理IP池,可能有下面这些问题:
* 代理IP从何而来?
许多刚接触爬虫的,都试过去西刺、快代理之类有免费代理的网站去抓些免费代理,还是有一些代理能用。
当然,如果你有更好的代理接口也可以自己接入。
免费代理的采集也很简单,无非就是:`访问页面`` —> `正则/xpath提取` —> `保存`
* 如何保证代理质量?
免费的代理IP大部分都是不能用的,不然别人还提供付费接口干嘛(不过事实上很多代理商的付费IP也不稳定,也有很多是不能用)。
所以采集回来的代理IP不能直接使用,检测的办法也很简单:可以写个程序不断的用代理访问一个稳定的网站,看是否可以正常访问即可。
这个过程可以使用多线/进程或异步的方式,因为检测代理是个很慢的过程。
* 采集回来的代理如何存储?
这里不得不推荐一个国人开发的高性能支持多种数据结构的NoSQL数据库[SSDB](http://ssdb.io/docs/zh_cn/),用于替代Redis。支持队列、hash、set、k-v对,支持T级别数据。是做分布式爬虫很好中间存储工具。
* 如何让爬虫更方便的用到这些代理?
把代理池做成一个服务,Python有这么多的web框架,随便拿一个来写个api供爬虫调用。这样代理和爬虫架构分离有很多好处。当需要代理IP的时候,直接调用接口获取一个就好了。
四、代理池设计
代理池由四部分组成:
* ProxyGetter:
代理获取接口,目前有5个免费代理源,每调用一次就会抓取这个5个网站的最新代理放入DB,支持自定义扩展额外的代理获取接口;
* DB:
用于存放代理IP,目前支持SSDB和Redis(推荐SSDB)。至于为什么选择SSDB,大家可以参考这篇[文章](https://www.sdk.cn/news/2684),个人觉得SSDB是个不错的Redis替代方案,如果你没有用过SSDB,安装起来也很简单,可以参考[这里](https://github.com/jhao104/memory-notes/blob/master/SSDB/SSDB%E5%AE%89%E8%A3%85%E9%85%8D%E7%BD%AE%E8%AE%B0%E5%BD%95.md);
* Schedule:
计划任务,定时去检测DB中的代理可用性,删除不可用的代理。同时也会主动通过ProxyGetter去获取最新代理放入DB;
* ProxyApi:
代理池的外部接口,由[Flask](http://flask.pocoo.org/)实现,功能是给爬虫提供与代理池交互的接口。
#### 四、代码模块
Python中高层次的数据结构,动态类型和动态绑定,使得它非常适合于快速应用开发,也适合于作为胶水语言连接已有的软件部件。用Python来搞这个代理IP池也很简单,代码分为6个模块:
* Api:
api接口相关代码,目前api是由Flask实现,代码也非常简单。客户端请求传给Flask,Flask调用`ProxyManager`中的实现,包括`get/delete/refresh/get_all`;
* DB:
数据库相关代码,目前数据库是支持SSDB/Redis。代码用工厂模式实现,方便日后扩展其他类型数据库;
* Manager:
`get/delete/refresh/get_all`等接口的具体实现类,目前代理池只负责管理proxy,日后可能会有更多功能,比如代理和爬虫的绑定,代理和账号的绑定等等;
* ProxyGetter:
代理获取的相关代码,目前抓取了[快代理](http://www.kuaidaili.com)、[代理66](http://www.66ip.cn/)、[有代理](http://www.youdaili.net/Daili/http/)、[西刺代理](http://api.xicidaili.com/free2016.txt)、[guobanjia](http://www.goubanjia.com/free/gngn/index.shtml)这个五个网站的免费代理,经测试这个5个网站每天更新的可用代理只有六七十个,当然也支持自己扩展代理接口;
* Schedule:
定时任务相关代码,现在只是实现定时去刷新代理,并验证可用代理,采用多进程方式;
* Util:
存放一些公共的模块方法或函数,包含`GetConfig`:读取配置文件config.ini的类,`ConfigParse`: 扩展ConfigParser的类,使其对大小写敏感, `Singleton`:实现单例,`LazyProperty`:实现类属性惰性计算。等等;
* 其他文件:
配置文件:`Config.ini``,数据库配置和代理获取接口配置,可以在GetFreeProxy中添加新的代理获取方法,并在Config.ini中注册即可使用;
python爬虫之:IP代理池开源项目讲解相关推荐
- Python爬虫——建立IP代理池
在使用Python爬虫时,经常遇见具有反爬机制的网站.我们可以通过伪装headers来爬取,但是网站还是可以获取你的ip,从而禁掉你的ip来阻止爬取信息. 在request方法中,我们可以通过prox ...
- (廿九)Python爬虫:IP代理池的开发
作为一个爬虫开发者,使用IP代理是必要的一步,我们可以在网上找到免费的高匿IP,比如西刺代理.但是,这些免费的代理大部分都是不好用的,经常会被封禁.所以我们转而考虑购买付费代理.可是,作为一个程序员首 ...
- Python创建免费Ip代理池,伪装Ip。
Python创建免费Ip代理池 主要使用requests第三方库.欸嘿,有了这个,就不用花钱买Ip了,生活小妙招.妙哇. 一.具体思路 1.利用requests爬取免费代理Ip的网页 2.存储列表后, ...
- python爬虫ip代理池_爬虫教程-Python3网络爬虫开发——IP代理池的维护
该楼层疑似违规已被系统折叠 隐藏此楼查看此楼 准备工作 要实现IP代理池我们首先需要成功安装好了 Redis 数据库并启动服务,另外还需要安装 Aiohttp.Requests.RedisPy.PyQ ...
- Python搭建自己[IP代理池]
IP代理是什么: ip就是访问网页数据服务器位置信息,每一个主机或者网络都有一个自己IP信息 为什么要使用代理ip: 因为在向互联网发送请求中,网页端会识别客户端是真实用户还是爬虫程序,在今天以互联网 ...
- python利用proxybroker构建爬虫免费IP代理池!不用担心被封了!
大纲 前言 ProxyBroker简介 ProxyBroker安装 在终端使用ProxyBroker 在代码中使用ProxyBroker 总结 前言 写爬虫的小伙伴可能遇到过这种情况: 正当悠闲地喝着 ...
- 【爬虫】IP代理池调研
调研产品 芝麻IP,太阳IP,多贝代理.阿布云.亿牛云.西刺代理ip 阿布云 ¥1/时¥16/天¥108/周¥429/月 每个请求一个随机IP 海量IP资源池需求 近300个区域全覆盖 IP切换迅速使 ...
- 用于Python爬虫的IP代理、user_Agent代理
一.常见的User Agent 1.Android Mozilla/5.0 (Linux; Android 4.1.1; Nexus 7 Build/JRO03D) AppleWebKit/535.1 ...
- 手把手教你用Python搭建IP代理池,轻松破解请求频率限制反爬虫~
我们所写的爬虫,它对服务器发出的网络请求频率要比正常用户的高的多,从而开发者可以将请求频率过高的用户视为爬虫程序,从而来限制爬虫程序. 今天志斌就来给大家分享一下,如何用Python搭建一个IP代理池 ...
最新文章
- 九度 1553:时钟(模拟题)
- homebrew常用指令
- C++ decltype类型指示符
- SCRUM敏捷开发官方权威指南
- Python 定时任务框架 APScheduler
- androidstudio 常用快捷键
- 信息系统项目管理师-信息文档与配置管理核心知识点思维脑图
- Dubbo 注解驱动(Annotation-Driven)
- java安全编码指南之:异常处理
- ReactiveStream01
- 别说了,叫爸爸吧! | 今日最佳
- Java中File的getPath(),getCanonicalPath()和getAbsolutePath()之间的区别
- 2021高考成绩查询时间福州,福州2021高考填志愿入口
- 怎么用c语言写贪吃蛇贴吧,刚学C语言,想写一个贪吃蛇的代码
- 历年蓝桥杯日期类问题总结
- PMP试题 | 每日一练
- 维纳滤波及其简单实现
- SpringMVC中get请求中文乱码问题
- java算法:复合数据结构
- 2.1.2 激光雷达
热门文章
- unity3D 点击按钮 播放音频
- AIMP3音乐播放器的漂亮皮肤-IAMP和Minimal Gray
- git stash、git branch使用方法
- signature=4746e22a831cd5efc939a83a10a194fc,Title page for ETD etd-07072014-094746
- 即将告别--新纪元网站
- etcd http API
- mysql InnoDB存储引擎的介绍
- excel工作表保护
- [转载]Java Web 服务,第 1 部分: Java Web 服务在未来一年内的发展
- 巧学活用html4,巧用教材、活用教材