手把手教你写网络爬虫(4)Scrapy入门
上期我们理性的分析了为什么要学习Scrapy,理由只有一个,那就是免费,一分钱都不用花!
咦?怎么有人扔西红柿?好吧,我承认电视看多了。不过今天是没得看了,为了赶稿,又是一个不眠夜。。。言归正传,我们将在这一期介绍完Scrapy的基础知识, 如果想深入研究,大家可以参考官方文档,那可是出了名的全面,我就不占用公众号的篇幅了。
架构简介
下面是Scrapy的架构,包括组件以及在系统中发生的数据流的概览(红色箭头所示)。 之后会对每个组件做简单介绍,数据流也会做一个简要描述。
组件
Engine: 引擎负责控制数据流在系统中所有组件中流动,并在相应动作发生时触发事件。
Scheduler: 调度器从引擎接受Request并将他们入队,以便之后引擎请求他们时提供给引擎。
Downloader: 下载器负责获取页面数据并提供给引擎,而后提供给Spider。
Spiders: Spider是Scrapy用户编写的用于分析Response并提取Item或提取更多需要下载的URL的类。 每个Spider负责处理特定网站。
Item Pipeline: 负责处理被Spider提取出来的Item。典型的功能有清洗、 验证及持久化操作。
Downloader middlewares: 下载器中间件是在Engine及Downloader之间的特定钩子(specific hooks),处理Downloader传递给Engine的Response。 其提供了一个简便的机制,通过插入自定义代码来扩展Scrapy功能。
Spider middlewares: 是在Engine及Spider之间的特定钩子(specific hook),处理Spider的输入(Response)和输出(Items及Requests)。 其提供了一个简便的机制,通过插入自定义代码来扩展Scrapy功能。
数据流
Scrapy中的数据流由执行引擎控制,其过程如下:
Engine从Spider获取第一个需要爬取URL(s)。
Engine用Scheduler调度Requests,并向Scheduler请求下一个要爬取的URL。
Scheduler返回下一个要爬取的URL给Engine。
Engine将URL通过Downloader middlewares转发给Downloader。
一旦页面下载完毕,下载器生成一个该页面的Response,并将其通过Downloader middlewares发送给Engine。
引擎从Downloader中接收到Response并通过Spider middlewares发送给Spider处理。
Spider处理Response并返回爬取到的Item及新的Request给Engine。
Engine将爬取到的Item给Item Pipeline,然后将Request给Scheduler。
从第一步开始重复这个流程,直到Scheduler中没有更多的URLs。
架构就是这样,流程和我第二篇里介绍的迷你架构差不多,但扩展性非常强大。
One more thing
Scrapy基于事件驱动网络框架 Twisted 编写,Twisted是一个异步非阻塞框架。一说到网络通信框架就会提什么同步、异步、阻塞和非阻塞,到底是些啥玩意啊?为啥老是有人暗示或者明示异步=非阻塞?比如Scrapy文档里:Scrapy is written with Twisted, a popular event-driven networking framework for Python. Thus, it’s implemented using a non-blocking (aka asynchronous) code for concurrency. 这种说法对吗?举个栗子:
出场人物:老张,水壶两把(普通水壶,简称水壶;会响的水壶,简称响水壶)
1. 老张把水壶放到火上,立等水开。(同步阻塞)
老张觉得自己有点傻。
2. 老张把水壶放到火上,去客厅看电视,时不时去厨房看看水开没有。(同步非阻塞)
老张还是觉得自己有点傻,于是变高端了,买了把会响笛的那种水壶。水开之后,能大声发出嘀~~~~的噪音。
3. 老张把响水壶放到火上,立等水开。(异步阻塞)
老张觉得这样傻等意义不大。
4. 老张把响水壶放到火上,去客厅看电视,水壶响之前不再去看它了,响了再去拿壶。(异步非阻塞)
老张觉得自己聪明了。
所谓同步异步,只是对于水壶而言。普通水壶,同步;响水壶,异步。虽然都能干活,但响水壶可以在自己完工之后,提示老张水开了。这是普通水壶所不能及的。同步只能让调用者去轮询自己(情况2中),造成老张效率的低下。
所谓阻塞非阻塞,仅仅对于老张而言。立等的老张,阻塞;看电视的老张,非阻塞。情况1和情况3中老张就是阻塞的,媳妇喊他都不知道。虽然3中响水壶是异步的,可对于立等的老张没有太大的意义。所以一般异步是配合非阻塞使用的,这样才能发挥异步的效用。
入门教程
创建项目
在开始爬取之前,您必须创建一个新的Scrapy项目。 进入您打算存储代码的目录中,运行下列命令:
scrapy startproject tutorial
该命令将会创建包含下列内容的 tutorial 目录:
tutorial/scrapy.cfg # 项目的配置文件tutorial/ # 该项目的python模块。之后您将在此加入代码__init__.pyitems.py # 项目中的item文件pipelines.py # 项目中的pipelines文件settings.py # 项目的设置文件spiders/ # 放置spider代码的目录__init__.py
编写第一个爬虫
Spider是用户编写用于从单个网站(或者一些网站)爬取数据的类。其包含了一个用于下载的初始URL,以及如何跟进网页中的链接以及如何分析页面中的内容的方法。
以下为我们的第一个Spider代码,保存在 tutorial/spiders 目录下的 quotes_spider.py文件中:
import scrapyclass QuotesSpider(scrapy.Spider):name = "quotes"def start_requests(self):urls = [ 'http://quotes.toscrape.com/page/1/', 'http://quotes.toscrape.com/page/2/',] for url in urls: yield scrapy.Request(url=url, callback=self.parse) def parse(self, response):page = response.url.split("/")[-2]filename = 'quotes-%s.html' % pagewith open(filename, 'wb') as f:f.write(response.body)self.log('Saved file %s' % filename)
为了创建一个Spider,你必须继承 scrapy.Spider 类, 且定义以下三个属性:
name: 用于区别Spider。 该名字必须是唯一的,您不可以为不同的Spider设定相同的名字。
start_urls: 包含了Spider在启动时进行爬取的url列表。 因此,第一个被获取到的页面将是其中之一。 后续的URL则从初始的URL获取到的数据中提取。
parse() 是spider的一个方法。 被调用时,每个初始URL完成下载后生成的Response 对象将会作为唯一的参数传递给该函数。 该方法负责解析返回的数据(response data),提取数据以及生成需要进一步处理的URL的 Request 对象。
运行我们的爬虫
进入项目的根目录,执行下列命令启动spider:
scrapy crawl quotes
这个命令启动用于爬取 quotes.toscrape.com 的spider,你将得到类似的输出:
2017-05-10 20:36:17 [scrapy.core.engine] INFO: Spider opened 2017-05-10 20:36:17 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min) 2017-05-10 20:36:17 [scrapy.extensions.telnet] DEBUG: Telnet console listening on 127.0.0.1:6023 2017-05-10 20:36:17 [scrapy.core.engine] DEBUG: Crawled (404) <GET http://quotes.toscrape.com/robots.txt> (referer: None) 2017-05-10 20:36:17 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://quotes.toscrape.com/page/1/> (referer: None) 2017-05-10 20:36:17 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://quotes.toscrape.com/page/2/> (referer: None) 2017-05-10 20:36:17 [quotes] DEBUG: Saved file quotes-1.html2017-05-10 20:36:17 [quotes] DEBUG: Saved file quotes-2.html 2017-05-10 20:36:17 [scrapy.core.engine] INFO: Closing spider (finished)
提取数据
我们之前只是保存了HTML页面,并没有提取数据。现在升级一下代码,把提取功能加进去。至于如何使用浏览器的开发者模式分析网页,之前已经介绍过了。
import scrapyclass QuotesSpider(scrapy.Spider):name = "quotes"start_urls = [ 'http://quotes.toscrape.com/page/1/', 'http://quotes.toscrape.com/page/2/',] def parse(self, response): for quote in response.css('div.quote'): yield { 'text': quote.css('span.text::text').extract_first(), 'author': quote.css('small.author::text').extract_first(), 'tags': quote.css('div.tags a.tag::text').extract(),}
再次运行这个爬虫,你将在日志里看到被提取出的数据:
2017-05-10 20:38:33 [scrapy.core.scraper] DEBUG: Scraped from <200 http://quotes.toscrape.com/page/1/>{'tags': ['life', 'love'], 'author': 'André Gide', 'text': '“It is better to be hated for what you are than to be loved for what you are not.”'}2017-05-10 20:38:33 [scrapy.core.scraper] DEBUG: Scraped from <200 http://quotes.toscrape.com/page/1/>{'tags': ['edison', 'failure', 'inspirational', 'paraphrased'], 'author': 'Thomas A. Edison', 'text': "“I have not failed. I've just found 10,000 ways that won't work.”"}
保存爬取的数据
最简单存储爬取的数据的方式是使用 Feed exports:
scrapy crawl quotes -o quotes.json
该命令将采用 JSON 格式对爬取的数据进行序列化,生成quotes.json文件。
在类似本篇教程里这样小规模的项目中,这种存储方式已经足够。如果需要对爬取到的item做更多更为复杂的操作,你可以编写 Item Pipeline,tutorial/pipelines.py在最开始的时候已经自动创建了。
最后,初学者进阶的福音
想学习,基础不够?没关系,我们提供免费提供VIP基础学习课程,让你快速入门,掌握Python!
有基础的小伙伴想学习项目实战?没问题,每晚八点都有博士大牛带你学习操作项目!
只要你有一颗想学习的心,我们随时欢迎~
转载于:https://blog.51cto.com/13887297/2298220
手把手教你写网络爬虫(4)Scrapy入门相关推荐
- [原创]手把手教你写网络爬虫(2):迷你爬虫架构
手把手教你写网络爬虫(2) 作者:拓海 (https://github.com/tuohai666) 摘要:从零开始写爬虫,初学者的速成指南! 封面: 介绍 大家好!回顾上一期,我们在介绍了爬虫的基本 ...
- python网络爬虫网易云音乐_手把手教你写网络爬虫(1):网易云音乐歌单
大家好,<手把手教你写网络爬虫>连载开始了!在笔者的职业生涯中,几乎没有发现像网络爬虫这样的编程实践,可以同时吸引程序员和门外汉的注意.本文由浅入深的把爬虫技术和盘托出,为初学者提供一种轻 ...
- 手把手教你写网络爬虫(2):迷你爬虫架构
介绍 大家好!回顾上一期,我们在介绍了爬虫的基本概念之后,就利用各种工具横冲直撞的完成了一个小爬虫,目的就是猛.糙.快,方便初学者上手,建立信心.对于有一定基础的读者,请不要着急,以后我们会学习主流的 ...
- 【爬虫】手把手教你写网络爬虫(2)
介绍 大家好!回顾上一期,我们在介绍了爬虫的基本概念之后,就利用各种工具横冲直撞的完成了一个小爬虫,目的就是猛.糙.快,方便初学者上手,建立信心.对于有一定基础的读者,请不要着急,以后我们会学习主流的 ...
- 手把手教你写网络爬虫(1)
介绍 什么是爬虫? 先看看百度百科的定义: 简单的说网络爬虫(Web crawler)也叫做网络铲(Web scraper).网络蜘蛛(Web spider),其行为一般是先"爬" ...
- 手把手教你写网络爬虫(1):网易云音乐歌单
介绍 什么是爬虫? 先看看百度百科的定义: 简单的说网络爬虫(Web crawler)也叫做网络铲(Web scraper).网络蜘蛛(Web spider),其行为一般是先"爬" ...
- 垃圾代码还能出圈?手把手教你写垃圾代码,从入门到精通!
全世界只有3.14 % 的人关注了 爆炸吧知识 转自:机器之心 参与:思 如果说到什么是好代码,我们肯定都能说出一堆规则,例如使用一致的格式和缩进.使用清晰的变量名和方法名.在必要时提供文档与注释.不 ...
- 网易教程python_手把手教你写Python网络爬虫(1):网易云音乐歌单
摘要:从零开始写爬虫,初学者的速成指南! 需要免费获取本文章讲解的视频+源码,关注+转发此文然后私信我回复"音乐"即可领取资料,也欢迎大家和我一起交流学习Python,共同成长 封 ...
- 手把手教你写电商爬虫-第二课 实战尚妆网分页商品采集爬虫
系列教程 手把手教你写电商爬虫-第一课 找个软柿子捏捏 如果没有看过第一课的朋友,请先移步第一课,第一课讲了一些基础性的东西,通过软柿子"切糕王子"这个电商网站好好的练了一次手,相 ...
最新文章
- java语言的主要的知识点
- java四种xml_Java中四种XML解析技术
- 李彦宏:汽车工业面临无人驾驶百年变局
- kubeadm常见报错和解决方法
- php mysql集群_PHP如何访问数据库集群
- java 知乎面试题_面试题|Java基础17道常见面试题
- Java设计模式——单例模式的七种写法
- 第20讲:代理的基本原理和用法
- Python raw_input 函数 - Python零基础入门教程
- 转https_这个PDF转图片技巧,不用1分钟就能快速上手
- 在jquery的ajax方法中的success中使用return要注意的问题
- MyEclipse 使用文档
- 管理新语:新员工进来,竟然连起码的技能培训都没有
- AD域服务器中批量创建帐户
- 旅通软件:旅行社管理系统怎么选?
- python 运行另一个py_如何在python中执行另一个py文件
- HDU 5336 XYZ and Drops(模拟十滴水游戏 BFS)
- Excel如何将数据拆分开
- 深度学习_深度学习基础知识_Internal Covariate Shift
- oracle11g忘记system密码,重置密码
热门文章
- bootstrap--响应式框架页面环境配置
- JAVA线程池ScheduledExecutorService周期性地执行任务 与单个Thread周期性执行任务的异常处理...
- python推荐淘宝物美价廉商品 2.0
- linux下用gcc如何生成预处理、汇编等文件
- java增强型for循环(三种遍历集合方式)
- HDU_2065 红色病毒问题(指数型生成函数)
- VSS (Visual Source Safe 2005) 用法详解
- 数据结构——队列(C语言实现)
- 访问ASP.NET临时文件夹的权限问题
- oracle学习笔记(二)------函数