python开发框架 代码生成_500 行 Python 代码构建一个轻量级爬虫框架
转载:https://www.jqhtml.com/11084.html
既然已经有像 Scrapy 这样优秀的爬虫框架,为何还要造轮子呢?嗯,其实最主要的还是想要将学习到 Python 知识综合起来,提高一下自己。
Features
1.简单、易用;
2.易于定制的 Spider;
3.多线程实现并发下载。
待改进
1.更多的测试代码;
2.添加更多的网站爬虫示例;
3.完善爬虫调度,支持 Request 优先级调度。
xcrawler 介绍
项目结构
Crawler engine (生产者+消费者模型)
1.引擎启动时会启动一个后台线程池,后台线程池负责下载由调度器提供给它的所有 URL(Request),并将响应(Response)结果存放到队列中;
2.引擎的前台解析线程会不断消费处理队列中的响应(Response),并调用相应 Spider 的解析函数处理这些相应;
3.引擎负责处页面理解析回来的对象,所有的 Request 对象都会被放到队列中(递归抓取时)等待处理,所有的字典对象(item)送给 Spider 的 process_item 方法处理。
配置介绍
配置项目
1.download_delay: 每批次之间的下载延迟(单位为秒),默认为 0;
2.download_timeout:下载等待延迟,默认为 6 秒;
3.retry_on_timeout:即当下载超时后,对应的请求是否应该重试;
4.concurrent_requests:并发下载数;
5.queue_size:请求队列大小,当队列已满时,会阻塞后续的请求。
示例配置:
settings ={
'download_delay': 0,
'download_timeout': 6,
'retry_on_timeout': True,
'concurrent_requests': 32,
'queue_size': 512
}
Spider 基类关键方法介绍
1.spider_started:该方法会在引擎启动时被触发调用,你可以通过继承该方法进行一些初始化工作,比如配置 pipeline 输出文件或者数据库连接等等;
2.spider_idle:该方法会在引擎处理空闲状态(即没有任何 requests 在队列)时被触发调用,你可以通过继承该方法给引擎添加新的请求等(使用 self.crawler.crawl(new_request, spider=self) 即可);
3.spider_stopped:该方法会在引擎关闭时触发调用,你可以通过继承该方法并在 Spider 结束工作前做一些清理工作,如关闭文件管道、关闭数据库连接等;
4.start_requests:该方法会为引擎提该 Spider 的对应种子请求;
5.make_requests_from_url:该方法会为你的 URL 创建一个 Request 对象;
6.parse:该方法为请求的默认解析函数回调,当然你可以可以在创建 Request 时指定其它的回调函数;
7.process_request:每当引擎处理一个 Spider 对应的请求时,该方法会被触发调用,你可以通过继承该方法对 request 做些设置,比如更换随机的 User-Agent,替换 Cookies 或者代理等;当然,你可以将 request 设置为 None 从而忽略该请求;
8.proccess_response:每当引擎处理一个 Spider 对应的响应时,该方法会被触发调用;
9.process_item:每当引擎处理一个 Spider 对应的 item 时,该方法会被触发调用,你可以通过继承该方法将抓取并解析到的 item 存储到数据库或者本地文件中。
注意
1.你可以在一个 Crawler 进程中装入不同的 Spider class,但需要保证不同的 Spider 的名称也要不同,否则会被引擎拒绝;
2.需要根据情况调整下载延迟和并发数大小;下载延迟尽量不要太大,否则每批请求可能会等待较长时间才会处理完成,从而影响爬虫性能;
3.Windows 下的测试还没做,我用的是 Ubuntu,所以如果您有什么问题,欢迎反馈哈!
安装
1.请移步项目主页 xcrawler (https://github.com/chrisleegit/xcrawler) 下载源码;
2.请保证你的安装环境为 Python 3.4+;
3.请使用 pip3 setup.py install 安装即可。
示例
python开发框架 代码生成_500 行 Python 代码构建一个轻量级爬虫框架相关推荐
- python画八卦_12行javascript代码绘制一个八卦图
一句话说明:用有限的代码构建一个1024*1024的颜色矩阵,秀出你的编程&艺术之美 起源于 stackexchange 上的一个问题, 这里稍微做了一下扩展,支持更多编程语言,并放宽了代码长 ...
- easyui treegrid 获取新添加行inserted_18行JavaScript代码构建一个倒数计时器
有时候,你会需要构建一个JavaScript倒计时时钟.你可能会有一个活动.一个销售.一个促销或一个游戏.你可以用原生的JavaScript构建一个时钟,而不是去找一个插件.尽管有很多很棒的时钟插件, ...
- python分布式爬虫系统_如何构建一个分布式爬虫:理论篇
前言 本系列文章计划分三个章节进行讲述,分别是理论篇.基础篇和实战篇.理论篇主要为构建分布式爬虫而储备的理论知识,基础篇会基于理论篇的知识写一个简易的分布式爬虫,实战篇则会以微博为例,教大家做一个比较 ...
- 如何构建一个分布式爬虫:理论篇
## 前言 本系列文章计划分三个章节进行讲述,分别是理论篇.基础篇和实战篇.理论篇主要为构建分布式爬虫而储备的理论知识,基础篇会基于理论篇的知识写一个简易的分布式爬虫,实战篇则会以微博为例,教大家做一 ...
- 几十行python代码构建一个前后端分离的目标检测演示网站,代码开源
在深度学习更讲究实用和落地的今天,构建一个简单的,可以利用浏览器和后端交互的演示性 Demo 可以说非常重要且实用了.本文我们将简单的介绍如何用几十行核心代码构建一个好用的.前后端分离的Demo. 2 ...
- python画八卦图的指令_12行javascript代码绘制一个八卦图
一句话说明:用有限的代码构建一个1024*1024的颜色矩阵,秀出你的编程&艺术之美 起源于 stackexchange 上的一个问题, 这里稍微做了一下扩展,支持更多编程语言,并放宽了代码长 ...
- hacker代码_如何仅用7行R代码构建Hacker News Frontpage抓取工具
hacker代码 by AMR 通过AMR 如何仅用7行R代码构建Hacker News Frontpage抓取工具 (How to build a Hacker News Frontpage scr ...
- python爬虫分布式怎么构造_如何构建一个分布式爬虫:实战篇
本篇文章将是『如何构建一个分布式爬虫』系列文章的最后一篇,拟**从实战角度**来介绍如何构建一个*稳健的分布式微博爬虫*.这里我*没敢谈高效*,抓过微博数据的同学应该都知道微博的反爬虫能力,也知道微博 ...
- python爬虫分布式怎么构造_如何构建一个分布式爬虫:基础篇
继上篇(如何构建一个分布式爬虫:理论篇)我们谈论了Celery的基本知识后,本篇继续讲解如何一步步使用Celery构建分布式爬虫.这次我们抓取的对象定为celery官方文档(Celery - Dist ...
最新文章
- linux无法启动之-“/dev/xxx unexpected inconsistency, run fsck manually”的解决
- nodejs安装及npm模块插件安装路径配置
- 使用 Redis 实现一个轻量级的搜索引擎,牛逼啊 !
- Windows Server 2003 备份和恢复的最佳做法
- centos7 界面中文都是方块_Centos 7 项目管理系统部署之Trac(一)
- C++读取文件夹中所有文件的路径,包含子文件夹
- pandas查看两个series、list元素的包含关系(查看一个series的每个元素是否在另一个series中)
- Linux-IPC进程间通信(day11)
- oracle为表空间增加数据文件_只读数据文件损坏恢复实验记录
- java反射之 Field对象
- 【文学欣赏】《卖米》北京大学首届校园原创文学大赛一等奖
- KTV点歌系统数字点歌功能
- AES加密解密C语言实现
- 测试工程师需要准备哪些知识
- 中国房地产泡沫规模巨大将载入历史 面临崩溃风险
- iTunes只能装C盘吗_iphone备份太大,严重挤占C盘空间,怎么把备份放在其他的硬盘?...
- ZCMU-1720-死亡如风,我要装逼
- CATIA R20文件关联消失
- 【CMake 项目】CMake 项目、目标、子目录
- 【前端】CSS 学习笔记(重要)
热门文章
- centos mysql 5.6.19_Centos5.8 安装 MySQL5.6.19
- rockemq 发送延迟消息_RocketMQ系列(五)广播与延迟消息
- 深入理解javascript原型和闭包(18)——补充:上下文环境和作用域的关系
- 大写牛逼,用 Python 登录主流 24 个网站
- 只用了2个周末,15岁中国学生斩获苹果WWDC奖学金
- 工业级路由器和家用路由器的区别_5G工业级路由器有哪些优势
- c 自动生成html文件,webpack4系列教程(三):自动生成项目中的HTML文件
- 机器学习从零开始-Kaggle数据用PurePython实战
- 23-爬虫之scrapy框架增量式实时监测数据爬取10
- dll 导出函数 下划线_内核中的代码完整性:深入分析ci.dll