pythonresponse对象的属性_Scrapy中response属性以及内容提取

Python

Python开发

Python语言

Scrapy中response属性以及内容提取

一.属性

url ：HTTP响应的url地址,str类型

status：HTTP响应的状态码, int类型

headers ：HTTP响应的头部, 类字典类型, 可以调用get或者getlist方法对其进行访问

body：HTTP响应正文, bytes类型

text：文本形式的HTTP响应正文, str类型

response.text = response.body.decode(response.encoding)

encoding：HTTP响应正文的编码

reqeust：产生该HTTP响应的Reqeust对象

meta：即response.request.meta, 在构造Request对象时, 可将要传递给响应处理函数的信息通过meta参数传入, 响应处理函数处理响应时, 通过response.meta将信息提取出来

selector：Selector对象用于在Response中提取数据使用下面详细将,主要是 xpath,css取值之后的处理

xpath(query)：下面详细讲解

css(query) ：下面详细讲解

urljoin(url) ：用于构造绝对url, 当传入的url参数是一个相对地址时, 根据response.url计算出相应的绝对url.

二.Selector对象

Selector 对象和SelectorList对象都有以下几种方法。

extract() 返回选中内容的Unicode字符串

re("正则表达式") 正则提取

extract_first()(SelectorList独有)

返回列表中的第一个元素内容

re_first()(SelectorList独有)

返回列表中的第一个元素内容

三.CSS

response.css('css选择器')返回值是Selector对象

获取一个

response.css('css选择器').extract_first()

获取全部

response.css('css选择器').extract()

获取其中某个属性

response.css('css选择器::attr(属性名)').extract()

只要标签里的文本

(response.css('css选择器::text').extract()

四.xpath

response.css('xpath选择器')返回值是Selector对象

内容来源于网络，如有侵权请联系客服删除

pythonresponse对象的属性_Scrapy中response属性以及内容提取相关推荐

python描述符与实例属性_Python 中的属性访问与描述符
在Python中,对于一个对象的属性访问,我们一般采用的是点(.)属性运算符进行操作.例如,有一个类实例对象foo,它有一个name属性,那便可以使用foo.name对此属性进行访问.一般而言,点(. ...
html 可换行属性,html中title属性换行实现
本文主要讲解titile属性换行的实现方式. 元素可定义文档的标题,可以应用在img.a等标签上. 1.实现方式: html中title属性换行实现孟繁贵的博客园孟繁贵的博客园 2.效果: 3.原 ...
php中border属性,css中display属性和border属性常遇问题讲解
本篇文章给大家带来的内容是关于css中display属性和border属性常遇问题讲解,有一定的参考价值,有需要的朋友可以参考一下,希望对你有所帮助.因为HTML很少有太复杂的问题,所以直接写一篇关于 ...
c语言中变量的属性,C中的属性变量
我知道类似属性的对象的实现已经讨论了很多次,但我需要的是与提出的各种解决方案略有不同. 我想要的是一个与变量具有相同语义的对象,但是当它的值被更改时,我想执行一些操作.这意味着具有隐式get / se ...
python的name属性_Python中__name__属性的妙用
在Python中,每一个module文件都有一个built-in属性:__name__,这个__name__有如下特点: 1 如果这个module文件是被别的文件导入的,那么,该__name__属性的 ...
html中的marquee的属性,HTML中Marquee属性详解
Marquee标记用于在可用浏览区域中滚动文本.这个标记只适用于IE3以后的版的浏览器: 格式: [MARQUEE ALIGN="-" BEHAVIOR="-" ...
html5中的target属性,HTML中target属性是什么意思
我来讲讲,希望对你有用: 其实并不用一一进行讲解,给你举几个实例你自然就明白其中的微妙所在: 1. _blank 这个家伙的汉语译文是:空白的,引申一下,就好像你写笔记一样,写完了一页翻过去,在一个新 ...
html中的transform属性,CSS3中transform属性
8种机械键盘轴体对比本人程序员,要买一个写代码的键盘,请问红轴和茶轴怎么选? 一.Transform描述: ransform是变形,改变的意思.在CSS3中transform主要包括以下几种:旋转r ...
html行内标签文本右对齐属性,html中align属性
html的标签中,有哪些有align属性文本对齐 {text-align:center/left/right} vertical-align 设置元素的垂直对齐方式.用的地方不多,因为其兼容性不好. ...

pythonresponse对象的属性_Scrapy中response属性以及内容提取

pythonresponse对象的属性_Scrapy中response属性以及内容提取相关推荐

最新文章

热门文章