scrapy的name变量_scrapy 如何设置全局变量?

两种方式可以实现，一种方式是利用 scrapy 自带的状态收集器，另一种，搞个单例实现全局的状态控制，这是与scrapy无关的。

scrapy 状态收集不多介绍了，放几篇文章在这里。

第一篇是官方的介绍文档：Stats Collectiondocs.scrapy.org

第二篇是 stackoverflow 的一个问题，介绍怎么在 spider 使用 stats collector。How to collect stats from within scrapy spider callback?stackoverflow.com

说说第二种方式，如何实现全局变量效果。假设要保存一个全局变量 hostname。

实现代码：

class Environment:

_env = None

def __init__(self):

self.hostname = None

@classmethod

def get_instance(cls):

"""

返回单例 Environment 对象

"""

if Environment._env is None:

cls._env == cls()

return cls._env

def set_hostname(self, name):

self.hostname = hostname

def get_hostname(self):

return self.hostname

主要的点就在 get_instance 方法中，通过检查类变量 _env 保证全局只有一个 Environment 的对象。接下来只要通过 Environment.get_instance() 获得这个单例对象。

使用代码

Environment.get_instance().set_hostname("hostname")

获取代码

Environment.get_instance().get_hostname()

有点要注意，如果这些变量和具体的请求有关，建议不要用它，通过 meta 传递吧。如果真的要用，一定要注意下数据的关联关系，以防止数据错乱。

这是基本的思路，当然你也在可以此基础上实现更复杂的功能。

scrapy的name变量_scrapy 如何设置全局变量?相关推荐

postman使用———（一）登录获取token设置全局变量/环境变量
一.登录获取token 可以通过接口文档或抓包工具获取登陆的地址和参数,先登录,查看返回的结果.如图我需要用的参数是token和userid #二.设置全局变量使用json提取器提取需要的字段并设置 ...
C语言函数怎么像python那样返回多个值？（三种方法：1、设置全局变量 2、传递指针 3、使用结构体返回不同类型的数据）
引用文章:c语言函数可不可以返回多个值文章目录方法一:设置全局变量例如:利用一个函数求出正方形的周长和面积. 方法二:使用数组名或指针作为函数的形参实例2:编写函数求一维整形数组的最大值与最小 ...
【原】postman常用设置全局变量的js片段
postman知识总结: API自动化利器:http://www.bayescafe.com/tools/use-postman-to-test-api-automatically.html 1.获取 ...
response对象设置返回状态_postman 设置全局变量
postman大家都知道是一个测试接口的工具,也是目前比较流行的一种测试工具,但是postman只是用来将API地址和参数填入send一下就完了吗?其实不是,关于postman其实有很多玩法,对于测试 ...
linux怎么查看系统环境变量路径,Linux系统中的环境变量该如何设置与查看
今天小编要跟大家分享的文章是关于Linux系统中的环境变量该如何设置与查看.大家都知道,在 Linux 系统中,有环境变量和 Shell 变量这两种变量. 环境变量是在程序及其子程序中全局可用的,常常 ...
mysql查看指定全局变量_【全局变量】mysql查看全局变量以及设置全局变量的值...
1.查看mysql的所有全局变量的值 SHOW GLOBAL VARIABLES 或者 SHOW VARIABLES mysql有很多全局变量,包括系统的一些基本信息,以及mysql的一些基本配置都可 ...
python全局变量在哪创建_python设置全局变量
python中怎么定义全局变量复制代码 count = 0 def Fuc(count): print count count += 1 for i in range(0, 10): Fuc(cou ...
php全局变量更改,PHP设置全局变量的方法
PHP如何设置全局变量 1.使用PHP语法结构"global"声明全局变量,注意"global"定义全局变量的时候,不能一起赋值,必须先声明在赋值: 示例代码: ...
php怎么设置页间全局变量,PHP怎么设置全局变量？
PHP怎么设置全局变量? 发布时间:2020-05-16 00:09:41 来源:亿速云阅读:150 作者:Leah PHP怎么设置全局变量?这个问题可能是我们日常工作经常见到的.通过这个问题,希望 ...
PHP:isset()-检测变量是否被设置
isset()-检测变量是否被设置 bool isset(mixed $var [, mixed $...]),检查变量是否被设置,并且不是NULL.var,要检测的变量,...其他变量,允许有多个变 ...

scrapy的name变量_scrapy 如何设置全局变量?

scrapy的name变量_scrapy 如何设置全局变量?相关推荐

最新文章

热门文章