爬虫学习笔记-scrapy框架介绍
优势
批量爬取数据
高效率
架构图
各模块的功能
1,Scrapy Engine(引擎):Scrapy框架的核心部分。负责在Spider和ItemPipeline、Downloader、Scheduler中间通信、传递数据等。
2,Spider(爬虫):发送需要爬取的链接给引擎,最后引擎把其他模块请求回来的数据再发送给爬虫,爬虫就去解析想要的数据。这个部分由我们自己写,因为我们爬取的对象是我们自己决定的
3,Scheduler(调度器):负责接收引擎发送过来的请求,并按照一定的方式进行排列和整理,负责调度请求的顺序等。
4,Downloader(下载器):负责接收引擎传送过来的下载请求,然后去网络上下载对应的数据再交还给引擎。
5,Item Pipeline(管道):负责将Spider(爬虫)传递过来的数据进行保存。
6,Downloader Middlewares(下载中间件):可以扩展下载器和引擎之间通信功能的中间件。
Spider Middlewares(Spider中间件):可以扩展引擎和爬虫之间通信功能的中间件。
中文官方文档
项目创建
进入cmd,进入到你想创建的目录,然后输入以下命令
scrapy startproject [项目名称]
然后得到以下语句,表示创建成功
项目文件介绍
1,items.py:用来存放爬虫爬取下来数据的模型。
2,middlewares.py:用来存放各种中间件的文件。
3,pipelines.py:用来将items的模型存储到本地磁盘中。
4,settings.py:本爬虫的一些配置信息(比如请求头、多久发送一次请求、ip代理池等)。
5,scrapy.cfg:项目的配置文件。
6,spiders包:以后所有的爬虫,都是存放到这个里面。
使用命令创建一个爬虫
scrapy genspider qsbk "qiushibaike.com"
创建了一个名字叫做qsbk的爬虫,并且能爬取的网页只会限制在qiushibaike.com这个域名下。
注意,要进去项目文件夹里才能写这个命令
爬虫文件启动命令
scrapy crawl 爬虫文件名
环境进入命令
workon crawler-env
爬虫学习笔记-scrapy框架介绍相关推荐
- python爬虫学习笔记-scrapy框架(1)
简介 什么是框架? 所谓的框,其实说白了就是一个[项目的半成品],该项目的半成品需要被集成了各种功能且具有较强的通用性. Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架,非常出名, ...
- python爬虫学习笔记-scrapy框架之start_url
在使用命令行创建scrapy项目后,会发现在spider.py文件内会生成这样的代码: name = 'quotes' allowed_domains = ['quotes.toscrape.com' ...
- 爬虫学习笔记(十)—— Scrapy框架(五):下载中间件、用户/IP代理池、settings文件
一.下载中间件 下载中间件是一个用来hooks进Scrapy的request/response处理过程的框架. 它是一个轻量级的底层系统,用来全局修改scrapy的request和response. ...
- Python3 爬虫学习笔记 C18【爬虫框架 pyspider — 深入理解】
Python3 爬虫学习笔记第十八章 -- [爬虫框架 pyspider - 深入理解] 文章目录 [18.1]启动参数 [18.2]运行单个组件 [18.2.1]运行 Scheduler [18.2 ...
- Python3 爬虫学习笔记 C17【爬虫框架 pyspider — 基本使用】
Python3 爬虫学习笔记第十七章 -- [爬虫框架 pyspider - 基本使用] 文章目录 [17.1]初识 pyspider [17.2]使用 pyspider [17.2.1]主界面 [1 ...
- Python爬虫5.3 — scrapy框架spider[Request和Response]模块的使用
Python爬虫5.3 - scrapy框架spider[Request和Response]模块的使用 综述 Request对象 scrapy.Request()函数讲解: Response对象 发送 ...
- Hadoop学习笔记一 简要介绍
Hadoop学习笔记一 简要介绍 这里先大致介绍一下Hadoop. 本文大部分内容都是从官网Hadoop上来的.其中有一篇介绍HDFS的pdf文档,里面对Hadoop介绍的比较全面了.我的这一 ...
- Python3 爬虫学习笔记 C04 【自动化测试工具 Selenium】
Python3 爬虫学习笔记第四章 -- [自动化测试工具 Selenium] 文章目录 [4.1]下载驱动 [4.2]声明浏览器对象 [4.3]访问页面 [4.4]启动参数 [4.5]查找节点 [4 ...
- Ui学习笔记---EasyUI的介绍
Ui学习笔记---EasyUI的介绍 -------------------------- 1.组织: a.EasyUI官方:http://www.jeasyui.com EasyUI是一 ...
最新文章
- 如何修改访问vnc服务器的密码,修改VNC访问的密码
- 阿里安全猎户座实验室(Alibaba Orion Security Lab)简介
- 页面加载时模块移入动画---wow
- 安富莱DAC8653模块
- POJ1555 ZOJ1720 UVA392 UVALive5309 Polynomial Showdown题解
- 下滑加载更多js_jquery实现移动端下拉加载更多
- keil的configuration wizard配置和使用
- UNIX、Linux与Windows之比较
- 【原创】EXCEL公式经验(1)---如何拆解/拆分字符串为多列和多行,但是注意不要超过EXCEL字符串最长长度限制!
- FPN网络详解(知识点记录)
- LDA-线性判别分析
- ddos防火墙防御假人攻击测评
- MPEG-2与MPEG-4
- 【XLPNet车牌识别算法】第一章 序
- 计算机专业课程思政优秀案例,【转载】专业课程思政教学案例分享之《专业导论(计算机科学与技术)》...
- 【组织架构】中国铁路南宁局集团有限公司
- Release版本的调试
- Android本地视频出现无法播放此视频问题
- 局域网arp攻击_MAC与IP不得不说的故事--深入ARP工作原理
- 脚本记录:移动端图片扩大缩小