Scrapy的debug方式

Scrapy不方便调试，但是为了深入学习框架内部的一些原理，有时候仅仅依靠日志是不够的。下面提供一种scrapy的debug方式

demo直接用来自官方例子来演示：https://github.com/scrapy/quotesbot

在运行 scrapy 库时，其实是相当于运行一个 python 脚本：

#!/usr/bin/pythonfrom scrapy.cmdline import execute
execute()

所以，我们将上面的代码保存为一个 debug.py 的文件在 scrapy 项目目录下

接着配置调试器，如下

接下来，直接在debug.py中就可以以此为入口调试了

转载于:https://www.cnblogs.com/alexkn/p/6938585.html

Scrapy的debug方式相关推荐

InterlliJ Debug方式启动：Method breakpoints may dramatically slow down debugging
一:错误 debug方式启动idea的时候IDE 提示该问题,且启到mybatis的时候不动也不报错,原因是在方法上添加了断点,将断点取消即可. 二:解决查看所有断点:: ...
Python的scrapy框架POST方式爬虫时碰见__VIEWSTATE和__EVENTVALIDATION的参数处理
1.目标网站 2.碰见__VIEWSTATE和__EVENTVALIDATION的参数 3.参数解释以及必要性 4.详解__EVENTTARGET的参数值对应不同的思路 4.1. 第一种,点击下一页的 ...
全网最全的Windows下Anaconda2 / Anaconda3里正确下载安装爬虫框架Scrapy（离线方式和在线方式）（图文详解）...
不多说,直接上干货! 参考博客全网最全的Windows下Anaconda2 / Anaconda3里正确下载安装OpenCV(离线方式和在线方式)(图文详解) 第一步:首先,提示升级下pip 第二步 ...
oracle的存储过程调试,oracle 运行普通方式及调试debug方式存储过程性能区别
调试某一存储过程时,在plsql developer debug调试执行时,20多分钟都执行不完, 后分析如下: 1,查询调试会话运行存储过程的对应sql select sid,serial#,eve ...
Windows 10下安装scrapy（pip方式，非wheel）
1.安装Microsoft Visual Studio Build Tools 打开下载链接,点击"https://aka.ms/BuildTools",跳转后再页面底部找到&qu ...
tomcat源码分析（一）初始化---Debug方式
引用网址: http://tomcat.apache.org/tomcat-6.0-doc/architecture/startup/serverStartup.txt http://tomcat.a ...
debug方式看Activity启动流程小记
Activity启动流程虽然很多博客讲了很多次了,但是这一次是自己的亲身体会 1.前言 debug需要gradle里面编译版本和官方模拟器api版本一致(这里源码是api25) 2.准备材料 1.ap ...
php有哪些debug方式,Console有哪些Debug方法
这次给大家带来Console有哪些Debug方法,使用ConsoleDebug的注意事项有哪些,下面就是实战案例,一起来看一下. 前言在过去的十年中,我最热衷的事情之一就是前端开发(特别是JavaS ...
taichi debug方式总结
今天听了刘天添老师的课,总结一下taichi debug的方法 1 ti.init的设置(开启debug mode) 进行如下设置 ti.init(arch=ti.cpu, debug=True, e ...

Scrapy的debug方式

Scrapy的debug方式相关推荐

最新文章

热门文章