1.概念

1.构造请求，scrapy.Request(url,callback)
callback：指定解析函数名称，表示该请求返回的响应使用哪一个函数进行解析
2.把请求交给引擎：yield scrapy.Request(url,callback)

API

scrapy.Request(url[,callback,method="GET",headers,body,cookies,meta,dont_filter=False])

1.中括号里的参数为可选参数
2.callback：表示当前的url的响应交给哪个函数去处理，callback=self.parse一般都是交给自身的parse函数处理
3.meta：实现数据在不同的解析函数中传递，meta默认带有部分数据，比如下载延迟，请求深度等
4.dont_filter:默认为False，会过滤请求的url地址，即请求过的url地址不会继续被请求，对需要重复请求的url地址可以把它设置为Ture，比如贴吧的翻页请求，页面的数据总是在变化;start_urls中的地址会被反复请求，否则程序不会启动
5.method：指定POST或GET请求
6.headers：接收一个字典，其中不包括cookies
7.cookies：接收一个字典，专门放置cookies
8.body：接收json字符串，为POST的数据，发送payload_post请求时使用（在下一章节中会介绍post请求）

其他

可以在settings中设置ROBOTS协议

# False表示忽略网站的robots.txt协议，默认为True
ROBOTSTXT_OBEY = False

可以在settings中设置User-Agent：

# scrapy发送的每一个请求的默认UA都是设置的这个User-Agent
USER_AGENT = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.115 Safari/537.36'

scrapy Request相关推荐

Scrapy框架的学习(5.scarpy实现翻页爬虫，以及scrapy.Request的相关参数介绍)
1. 创建爬虫项目 : scrapy startporject tencent 然后进入到项目中: cd tencent 创建爬虫:scrapy genspider tencent_spide ...
Scrapy - Request 和 Response（请求和响应）
Requests and Responses:http://doc.scrapy.org/en/latest/topics/request-response.html Requests and Res ...
scrapy-实现下一页请求， scrapy.Request
scrapy-实现下一页请求, scrapy.Request # -*- coding: utf-8 -*- import scrapyclass HrSpider(scrapy.Spider):na ...
scrapy.Request使用meta传递数据，以及deepcopy的使用
scrapy.Request(url[,callback,method="GET",headers,body,cookies,meta,dont_filter=False]) 参数 ...
scrapy.Request callback不执行
上一篇博客介绍了Scrapy Post Request payload数据的问题,本篇记录一下scrapy.Request callback不执行的问题. 1.大家都说的解决方式,虽然没有解决我的问题 ...
scrapy.request
https://doc.scrapy.org/en/latest/topics/request-response.html#request-objects 参数说明 describe url?(st ...
request设置请求头_收藏 Scrapy框架各组件详细设置
今天说一下Scrapy框架各组件的详细设置. 关于Scrapy Scrapy是纯Python语言实现的爬虫框架,简单.易用.拓展性高是其主要特点.这里不过多介绍Scrapy的基本知识点,主要针对其高拓 ...
python 爬虫 scrapy 和 requsts 哪个快_Python爬虫：Scrapy研读之Request/Reponse
本帖最后由 shenzhenwan10 于 2016-6-17 07:52 编辑 1,引言在前一篇Scrapy:python3下的第一次运行测试中,我们以官网的tutorial为例,成功的运行了S ...
Scrapy中Request的回调函数不执行
一. 举例 def parse(self, response):...yield Request(url=parse.urljoin(response.url, title_herf), meta=m ...

scrapy Request

1.概念

API

meta

其他

scrapy Request相关推荐

最新文章

热门文章