python的parse函数没有执行—

解决：
将settings.py文件中的ROBOTSTXT_OBEY = False修改为
ROBOTSTXT_OBEY = True

详细：
settings.py文件中的ROBOTSTXT_OBEY = True
在terminal输入>scrapy shell "https://www.baidu.com/"

[scrapy.core.engine] DEBUG: Crawled (200) <GET https://www.baidu.com/robots.txt> (referer: None)
[scrapy.downloadermiddlewares.robotstxt] DEBUG: Forbidden by robots.txt: <GET https://www.baidu.com/>

由上面可知Forbidden by robots.txt，被禁止了

修改settings.py为ROBOTSTXT_OBEY = False时，

[scrapy.downloadermiddlewares.redirect] DEBUG: Redirecting (meta refresh) to <GET http://m.baidu.com/?cip=220.178.74.6&baiduid=39BFD0B47012C3EBFBFF2E5DD9CA5BA9&from=84
4b&vit=fps?from=844b&vit=fps&index=&ssid=0&bd_page_type=1&logid=7889072453155394709&pu=sz%401321_480&t_noscript=jump> from <GET https://www.baidu.com/>

DEBUG: Crawled (200) <GET http://m.baidu.com/?cip=220.178.74.6&baiduid=39BFD0B47012C3EBFBFF2E5DD9CA5BA9&from=844b&vit=fps?from=844b&vit=fps&index=
&ssid=0&bd_page_type=1&logid=7889072453155394709&pu=sz%401321_480&t_noscript=jump> (referer: None)

此时成功！！

python的parse函数没有执行——问题已解决相关推荐

python程序在函数内执行得更快
http://www.cnblogs.com/nepaul/archive/2012/07/15/2592179.html 为什么Python程序在函数内执行得更快?(来源StackOverflow) ...
python语句x 3 3执行_已知 x = 3,那么执行语句 x *= 6 之后,x的值为_学小易找答案
[填空题]Python内置函数__用来返回序列中的最小元素 [填空题]表达式 list(range(5)) 的值为 [填空题]表达式 int(4**0.5) 的值为 [填空题]表达式 3 or 5 的 ...
python装饰器函数后执行_Python装饰器限制函数运行时间超时则退出执行
实际项目中会涉及到需要对有些函数的响应时间做一些限制,如果超时就退出函数的执行,停止等待. 可以利用python中的装饰器实现对函数执行时间的控制. python装饰器简单来说可以在不改变某个函数内部 ...
python输出日志到文件_【已解决】Python中，如何让多个py文件的logging输出到同一个日志log文件...
[问题] 有一个比较长的python脚本文件,其中关于log日志输出,用的是logging,对应初始化代码为:logging.basicConfig( level = logging.DEBUG, f ...
python通过代理访问网页_【已解决】Python中使用代理访问网络
[问题] 在用Python的urllib2等库,访问网络,发现某些网址访问很慢,比如: 但是,当使用代理(此处用的是gae)后,发现访问速度就快很多了. 所以,希望给Python的访问网络,增加代理的 ...
python运行完不能显示图_【已解决】Python中通过Image的open之后，去show结果打不开bmp图片，无法正常显示图片...
[问题] 在windows的cmd命令行下,使用Python的PIL库打开并显示一个jpg图片:openedImg = Image.open(saveToFile); print "open ...
python创建csv文件并写入-【已解决】Python中创建和保存数据到csv文件中
此处希望在python中,将A和B的QA对话,中错误的对话,保存到csv中. 打算自己先创建一个csv文件,然后后续每个对话出错的话,就append追加写入到csv中. 其中希望用逗号分隔.而句子中如 ...
python出现Unresolved import:库名，已解决
python引用库时,出现了这种错误解决方法: window-preferences-PyDev-interpreters-forced builtins-New- 添加库名成功如果可以运行,但 ...
Python爬虫：（亲测，已解决！）解决在使用谷歌浏览器的开发者工具时，没有Referer防盗链缺失问题。
今天,我在做Python网络爬虫时(web spider),正在爬取哔哩哔哩的某一个视频,发现一个致命问题,就是单纯在headers中加入UA(user-Agent)是不够的,也就是说,我的爬虫没有足 ...
python读取txt文本出现中文乱码已解决。
首先先看代码第一步先确认你的python有没有安装 chardet,如果没有安装就去官网下载官网下载下载完成解压, 把chardet这个文件夹(里面包含文件)直接复制到你的python安装目录 ...

python的parse函数没有执行——问题已解决

python的parse函数没有执行——问题已解决相关推荐

最新文章

热门文章