情况1：未完成函数/测试函数

那个函数没有任何结果返回，可能这就是一个测试函数或是没写完的函数，因此只需要在这个函数结尾加一个yield就可以了，回调另一个空的函数就不会有任何影响：

# -*- coding: gbk -*-def parse(self, response):# balabalayield scrapy.Request(movie_url, callback=self.test_page, dont_filter=False, meta={'url': movie_url,})def test_page(self, response): # 不会执行！！！print('lalala')

变为：

def parse(self, response):# balabalayield scrapy.Request(movie_url, callback=self.test_page, dont_filter=False, meta={'url': movie_url,})def test_page(self, response): # 可以执行....print('lalala')yield scrapy.Request(movie_url, callback=self.blank, dont_filter=False)def blank(self,response):pass

情况2：allowed_domains配置了错误

可能是allowed_domains里配置了如：www.baidu.com，但百度的其他页面是 baidu.com/xxxxx，这个就会跳过这个页面。参考：http://www.scrapyd.cn/error/2018/0209/173.html

情况3：dont_filter=True

改成 dont_filter=False

情况4：403/404/500等错误

(感谢vxhorse小伙伴~)

解决scrapy不执行Request回调函数callback相关推荐

服务器响应回调函数,解决有关flask-socketio中服务端和客户端回调函数callback参数的问题（全网最全）...
由于工作当中需要用的flask_socketio,所以自己学习了一下如何使用,查阅了有关文档,当看到回调函数callback的时候,发现文档里都描述的不太清楚,最后终于琢磨出来了,分享给有需要的朋友 ...
理解javascript中的回调函数(callback)【转】
在JavaScrip中,function是内置的类对象,也就是说它是一种类型的对象,可以和其它String.Array.Number.Object类的对象一样用于内置对象的管理.因为function实 ...
理解javascript中的回调函数(callback)
理解javascript中的回调函数(callback) 在JavaScrip中,function是内置的类对象,也就是说它是一种类型的对象,可以和其它String.Array.Number.Obje ...
alert 回调_JavaScript中到底什么时候回调函数Callback
什么是回调函数Callback 简单的理解:回调函数是在另一个函数执行完毕后执行的函数 - 因此名称为'call back'. 复杂的理解:在JavaScript中,函数是对象.因此,函数可以将函数作 ...
C++回调函数(callback)的使用
什么是回调函数(callback) 模块A有一个函数foo,它向模块B传递foo的地址,然后在B里面发生某种事件(event)时,通过从A里面传递过来的foo的地址调用foo,通知A发生了什 ...
C语言回调函数 callback - C语言零基础入门教程
目录一.回调函数原理二.回调函数简介 1.函数指针 2.指针函数 3.回调函数解释三.回调函数实战四.回调函数使用总结五.猜你喜欢零基础 C/C++ 学习路线推荐 : C/C++ 学习目录 ...
mysql.js回调函数_js回调函数(callback)
Mark! js学习不喜欢js,但是喜欢jquery,不解释. 自学jquery的时候,看到一英文词(Callback),顿时背部隐隐冒冷汗.迅速google之,发现原来中文翻译成回调.也就是回调函 ...
jQuery 来了--动画，停止动画，回调函数Callback，链
动画 animate()方法作用:用于创建自定义动画语法:$("selector").animate({params},speed,callback); 参数 params:必 ...
上传数据时 ajax请求成功上传完成,ajaxSubmit请求返回数据成功，但是不执行success回调函数...
this.pluploader = new plupload.Uploader({ runtimes: 'html5,flash,silverlight,html4', //上传方式 headers: ...

解决scrapy不执行Request回调函数callback

情况1：未完成函数/测试函数

情况2：allowed_domains配置了错误

情况3：dont_filter=True

情况4：403/404/500等错误

解决scrapy不执行Request回调函数callback相关推荐

最新文章

热门文章