Scrapy中scrapy.loader.processors、scrapy.contrib.loader.processor的区别

区别就是scrapy.contrib.loader.processor模块导入了scrapy.loader.processors中的所有内容：

`Lib/site-packages/scrapy/loader/processors.py`

"""
This module provides some commonly used processors for Item Loaders.See documentation in docs/topics/loaders.rst
"""from scrapy.utils.misc import arg_to_iter
from scrapy.utils.datatypes import MergeDict
from .common import wrap_loader_contextclass MapCompose(object):def __init__(self, *functions, **default_loader_context):self.functions = functionsself.default_loader_context = default_loader_contextdef __call__(self, value, loader_context=None):values = arg_to_iter(value)if loader_context:context = MergeDict(loader_context, self.default_loader_context)else:context = self.default_loader_contextwrapped_funcs = [wrap_loader_context(f, context) for f in self.functions]for func in wrapped_funcs:next_values = []for v in values:next_values += arg_to_iter(func(v))values = next_valuesreturn valuesclass Compose(object):def __init__(self, *functions, **default_loader_context):self.functions = functionsself.stop_on_none = default_loader_context.get('stop_on_none', True)self.default_loader_context = default_loader_contextdef __call__(self, value, loader_context=None):if loader_context:context = MergeDict(loader_context, self.default_loader_context)else:context = self.default_loader_contextwrapped_funcs = [wrap_loader_context(f, context) for f in self.functions]for func in wrapped_funcs:if value is None and self.stop_on_none:breakvalue = func(value)return valueclass TakeFirst(object):def __call__(self, values):for value in values:if value is not None and value != '':return valueclass Identity(object):def __call__(self, values):return valuesclass SelectJmes(object):"""Query the input string for the jmespath (given at instantiation),and return the answerRequires : jmespath(https://github.com/jmespath/jmespath)Note: SelectJmes accepts only one input element at a time."""def __init__(self, json_path):self.json_path = json_pathimport jmespathself.compiled_path = jmespath.compile(self.json_path)def __call__(self, value):"""Query value for the jmespath query and return answer:param value: a data structure (dict, list) to extract from:return: Element extracted according to jmespath query"""return self.compiled_path.search(value)class Join(object):def __init__(self, separator=u' '):self.separator = separatordef __call__(self, values):return self.separator.join(values)

`Lib/site-packages/scrapy/contrib/loader/processor.py`

import warnings
from scrapy.exceptions import ScrapyDeprecationWarning
warnings.warn("Module `scrapy.contrib.loader.processor` is deprecated, ""use `scrapy.loader.processors` instead",ScrapyDeprecationWarning, stacklevel=2)from scrapy.loader.processors import *

Scrapy中scrapy.loader.processors、scrapy.contrib.loader.processor的区别相关推荐

Python爬虫：Scrapy中runspider和crawl的区别
Scrapy中runspider和crawl都可以运行爬虫程序区别: 命令说明是否需要项目示例 runspider 未创建项目的情况下,运行一个编写在Python文件中的spider no $ ...
scrapy.loader.processors.TakeFirst is deprecated, instantiate itemloaders.processors.TakeFirst inste
scrapy.loader.processors.TakeFirst is deprecated, instantiate itemloaders.processors.TakeFirst inste ...
六、Scrapy中Download Middleware的用法
本文转载自: https://scrapy-chs.readthedocs.io/zh_CN/latest/topics/downloader-middleware.html https://doc. ...
在Scrapy中使用爬虫动态代理IP
本文介绍如何在Scrapy中使用无忧代理(www.data5u.com)的爬虫动态代理IP,以及如何设置User-Agent. 动态转发参考https://blog.csdn.net/u0109787 ...
在scrapy中parse函数里面xpath的内容打印不出来_Scrapy中 CrawlSpider 使用
全站爬取时,有时采用遍历ID的方式,请求量很大,资源消耗很大,而且有可能某些ID已经失效,速度慢,效果不理想:可以试试换成关系网络的方式进行爬取,可能无法抓取全量数据,但是可以抓取比较热门的数据. 在 ...
scrapy 中不同页面的拼接_scrapy官方文档提供的常见使用问题
Scrapy与BeautifulSoup或lxml相比如何? BeautifulSoup和lxml是用于解析HTML和XML的库.Scrapy是一个用于编写Web爬虫的应用程序框架,可以抓取网站并从中 ...
Scrapy中的splash的安装应用
Scrapy中的splash的安装应用因为要去抓取部分经过JavaScript渲染的网页数据,所以使用scrapy中的Request返回的是没有经过渲染的网页代码, 因此我们就要运用Scrapy中的 ...
三十六、Scrapy 中的复写默认管道和Rule扩展
@Author:Runsen scrapy中的强大媒体管道(二) 上文用scrapy 爬百度美女图片,补充如何重写默认管道知识点,当年爬取的网站是:http://www.27270.com/.但是这里 ...
三十五、Scrapy 中的杂知识总结和代理池的编写
@Author:Runsen 上次用scrapy爬了腾讯招聘网站,有两个job.json 和detail.json,针对一个item,其实有更简单的处理方法. 今天讲讲scrapy 中的杂知识,做一 ...

Scrapy中scrapy.loader.processors、scrapy.contrib.loader.processor的区别

`Lib/site-packages/scrapy/loader/processors.py`

`Lib/site-packages/scrapy/contrib/loader/processor.py`

Scrapy中scrapy.loader.processors、scrapy.contrib.loader.processor的区别相关推荐

最新文章

热门文章