python 爬虫 scrapy 和 requsts 哪个快_Python爬虫：Scrapy研读之Request/Reponse

本帖最后由 shenzhenwan10 于 2016-6-17 07:52 编辑

1，引言

在前一篇Scrapy：python3下的第一次运行测试中，我们以官网的tutorial为例，成功的运行了Scrapy。

实际使用中，需要对Scrapy的各部分有更深入的了解，才能根据应用场景来灵活的添加自定义代码。

本篇就来研读一下Scrapy有关Request/Response的部分。

2，研读过程

2.1 结合官方文档例子，先简单整理出一段代码：

import scrapy

from myproject.items import MyItem

class MySpider(scrapy.Spider):

name = 'myspider'

start_urls = (

'http://example.com/page1',

'http://example.com/page2',

)

def parse(self, response):

# collect `item_urls`

for item_url in item_urls:

yield scrapy.Request(item_url, self.parse_item)

def parse_item(self, response):

item = MyItem()

# populate `item` fields

# and extract item_details_url

yield scrapy.Request(item_details_url, self.parse_details, meta={'item': item})

def parse_details(self, response):

item = response.meta['item']

# populate more `item` fields

return item复制代码说明：

从Spider继承了一个爬虫类，唯一名称 name="myspider"，爬虫默认入口地址 start_urls = () ，元组或列表都可以。

2.2 查看Scrapy有关Spider的源码，可以看到

# 代码片段

class Spider(object_ref):

"""Base class for scrapy spiders. All spiders must inherit from this

class.

"""

name = None

def __init__(self, name=None, **kwargs):

if name is not None:

self.name = name

elif not getattr(self, 'name', None):

raise ValueError("%s must have a name" % type(self).__name__)

self.__dict__.update(kwargs)

if not hasattr(self, 'start_urls'):

self.start_urls = []复制代码说明：

在Spider初始化时，检查name是否为None，start_urls 是否存在。代码很简单

2.3 继续向下看：

# 第一个方法

def parse(self, response):

# collect `item_urls`

# 可以理解为：网站的所有导航菜单的超链接集合

for item_url in item_urls:

yield scrapy.Request(item_url, self.parse_item)复制代码说明：

a） parse为默认入口，也就是从父类Spider类中继承过来的（或者说是一个必须要实现的接口），但是需要实现。

b）在这个方法体中，根据 start_requests （默认为GET请求）返回的 Response，得到了一个名字为‘item_urls’ 的url集合。然后遍历并请求这些集合。

2.5 再看 Request 源码：

# 部分代码

class Request(object_ref):

def __init__(self, url, callback=None, method='GET', headers=None, body=None,

cookies=None, meta=None, encoding='utf-8', priority=0,

dont_filter=False, errback=None):

self._encoding = encoding # this one has to be set first

self.method = str(method).upper()

self._set_url(url)

self._set_body(body)

assert isinstance(priority, int), "Request priority not an integer: %r" % priority

self.priority = priority

assert callback or not errback, "Cannot use errback without a callback"

self.callback = callback

self.errback = errback

self.cookies = cookies or {}

self.headers = Headers(headers or {}, encoding=encoding)

self.dont_filter = dont_filter

self._meta = dict(meta) if meta else None

@property

def meta(self):

if self._meta is None:

self._meta = {}

return self._meta复制代码其中，比较常用的参数：

url: 就是需要请求，并进行下一步处理的url

callback: 指定该请求返回的Response，由那个函数来处理。

method: 一般不需要指定，使用默认GET方法请求即可

headers: 请求时，包含的头文件。一般不需要。内容一般如下：使用 urllib 自己写过爬虫的肯定知道

Host: media.readthedocs.org

User-Agent: Mozilla/5.0 (Windows NT 6.2; WOW64; rv:33.0) Gecko/20100101 Firefox/33.0

Accept: text/css,*/*;q=0.1

Accept-Language: zh-cn,zh;q=0.8,en-us;q=0.5,en;q=0.3

Accept-Encoding: gzip, deflate

Referer: http://scrapy-chs.readthedocs.org/zh_CN/0.24/

Cookie: _ga=GA1.2.1612165614.1415584110;

Connection: keep-alive

If-Modified-Since: Mon, 25 Aug 2014 21:59:35 GMT

Cache-Control: max-age=0

meta: 比较常用，在不同的请求之间传递数据使用的。字典dict型

request_with_cookies = Request(url="http://www.example.com",

cookies={'currency': 'USD', 'country': 'UY'},

meta={'dont_merge_cookies': True})

encoding: 使用默认的 'utf-8' 就行。

dont_filter: indicates that this request should not be filtered by the scheduler.

This is used when you want to perform an identical request multiple times,

to ignore the duplicates filter. Use it with care, or you will get into crawling loops.

Default to False.

errback: 指定错误处理函数

2.6 接下来就是 Response 的源码：

# 部分代码

class Response(object_ref):

def __init__(self, url, status=200, headers=None, body='', flags=None, request=None):

self.headers = Headers(headers or {})

self.status = int(status)

self._set_body(body)

self._set_url(url)

self.request = request

self.flags = [] if flags is None else list(flags)

@property

def meta(self):

try:

return self.request.meta

except AttributeError:

raise AttributeError("Response.meta not available, this response " \

"is not tied to any request")复制代码参数跟上面的类似。

2.7 在继续向下看：

# 第二个方法

def parse_item(self, response):

item = MyItem()

# populate `item` fields

# 相当于导航栏下面的列表页，此时可能还存在分页情况

# and extract item_details_url

yield scrapy.Request(item_details_url, self.parse_details, meta={'item': item})复制代码说明：

a）接收到第一个方法得到并遍历的所有url的请求响应Response。并在当前页面中查找了所有的详细实体的初略信息，以及单品详细的url地址。此时需要继续向下请求，请求详细的实体的页面。

b）在这个方法中使用到了 item，也可以不使用。直接将信息（比如实体根据导航标签的大体分类），通过Request的meta属性，传递给下一个callback处理函数。

2.8 继续向下看：

# 第三个方法

def parse_details(self, response):

item = response.meta['item']

# populate more `item` fields

return item复制代码说明：此时，请求已经得到了实体的具体页面，也就是实体详细页。（比如，根据商品的列表进入了详情）。

这时需要接收一下，从上一个方法中传递过来的信息。

def parse_details(self, response):

item = response.meta['item']

# 也可以使用如下方式，设置一个默认值

item = response.meta.get('item', None)

# 当 'item' key 不存在 meta字典中时，返回None复制代码说明：

最后将最终得到的 item 返回，这样就能在 ITEM_PIPELINES 中得到数据，并进行下一步的处理了

3. 下一步

现在网页上使用javascript实在太普遍

a）研究一下怎样在Scrapy中加入加载javascript页面的代码

b）加载和处理javascript页面，会不会造成阻塞

4，文档修改历史

2016-06-17：V1.0，首次发布

python 爬虫 scrapy 和 requsts 哪个快_Python爬虫：Scrapy研读之Request/Reponse相关推荐

python 爬虫 scrapy 和 requsts 哪个快_Scrapy爬虫框架结构以及和Requests库的比较
爬虫框架 *爬虫框架是实现爬虫功能的一个软件结构和功能组件集合 *爬虫框架是一个半成品,能够帮助用户实现专业网络爬虫 Scrapy爬虫框架结构 "5+2"结构 Spiders(用户 ...
python爬取微博评论点赞数_python 爬虫爬微博分析数据
python 爬虫爬微博分析数据最近刚看完爱情公寓5,里面的大力也太好看了吧... 打开成果的微博,小作文一样的微博看着也太爽了吧... 来用python分析分析狗哥这几年微博的干了些啥. ...
python库使用方法查询 app应用_Python爬虫实战（5）获取「最美应用」推荐APP数据...
前言蛋肥学习了Scrapy框架,打算实践一下,利用Scrapy来爬取一下最美应用推荐APP的数据,并储存到MySQL数据库中. 准备爬取时间:2021/02/04 系统环境:Windows 10 ...
python爬虫之request_Python爬虫：Scrapy研读之Request/Reponse
本帖最后由 shenzhenwan10 于 2016-6-17 07:52 编辑 1,引言在前一篇Scrapy:python3下的第一次运行测试中,我们以官网的tutorial为例,成功的运行了S ...
python爬虫百度云资源分享吧_python爬虫入门实战（七）---爬取并闪存微信群里的百度云资源...
(声明:本篇文章以交流技术为目的,希望大家支持正版,支持院线~) 需求背景: 最近误入一个免费(daoban)资源的分享群(正经脸),群里每天都在刷资源链接.但是大家都知道,百度云的分享链接是很容易被 ...
python爬虫工程师认证证书报考条件_Python爬虫工程师要具备怎样的技能
对于程序员来说基本上不存在重复性的工作,任何重复劳动都可以通过程序自动解决.下面千锋带你一起了解爬虫需要哪些相关的技能. 1.基本的编码基础(至少一门编程语言) 这个对于任何编程工作来说都是必须的.基 ...
python爬虫requests源码链家_Python 爬虫链家二手房（自行输入城市爬取）
因同事想在沈阳买房,对比分析沈阳各区的房价,让我帮忙爬取一下链家网相关数据,然后打算记下笔记用于总结学到的东西&用到的东西. 一.爬虫需要会什么? 学习东西首先你要知道它是干嘛的.爬虫 ...
python爬虫电影输出到文件中_python爬虫用scrapy获取影片的实例分析
我们平时生活的娱乐中,看电影是大部分小伙伴都喜欢的事情.周围的人总会有意无意的在谈论,有什么影片上映,好不好看之类的话题,没事的时候谈论电影是非常不错的话题.那么,一些好看的影片如果不去电影院的话,在 ...
python爬音乐评论生成词云图_python爬虫+词云图，爬取网易云音乐评论
又到了清明时节,用python爬取了网易云音乐<清明雨上>的评论,统计词频和绘制词云图,记录过程中遇到一些问题爬取网易云音乐的评论一开始是按照常规思路,分析网页ajax的传参情况.看到 ...

python 爬虫 scrapy 和 requsts 哪个快_Python爬虫：Scrapy研读之Request/Reponse

python 爬虫 scrapy 和 requsts 哪个快_Python爬虫：Scrapy研读之Request/Reponse相关推荐

最新文章

热门文章