scrapy 解决Redirecting 301 302重定向问题

在使用Scrapy框架中URl被重定向，总是遇到这类问题:

DEBUG: Redirecting (301/302) to <GET https://XXXX refer https://XXXX>

解决方式：

在Scrapy中的Request中添加 dont_filter=True，因为Scrapy是默认过滤掉重复的请求URL，添加上参数之后即使被重定向了也能请求到正常的数据了。
在Scrapy框架中的 settings.py文件里添加

HTTPERROR_ALLOWED_CODES = [301]

HTTPERROR_ALLOWED_CODES设置来指定spider能处理的response返回值

也就是说忽略该列表中不具有的状态码（当然正常的200状态码除外）的response。

另外：

在爬虫多次请求时，有些网站会出现反爬虫措施：将请求链接重定向到一个提示404的链接或者验证码链接等阻止爬虫的进行，如下为解决方案：

def start_requests(self):for i in self.start_urls:yield Request(i, meta={'dont_redirect': True,'handle_httpstatus_list': [301,302]}, callback=self.parse)# 'dont_redirect': True是禁止重定向
# Request.meta 中的 handle_httpstatus_list 键可以用来指定每个request所允许的response code。

提示：

根据 HTTP标准，返回值为200-300之间的值为成功的resonse。

如果想处理在这个范围之外的response，可以通过 spider的 handle_httpstatus_list 属性或HTTPERROR_ALLOWED_CODES 设置来指定spider能处理的response返回值。

例如，如果想要处理返回值为404的response可以这么做:

class MySpider(CrawlSpider):handle_httpstatus_list = [404]

使用requests模块遇到301和302问题时

html = requests.get(url, headers=headers, allow_redirects=False)
return html.headers['Location']

allow_redirects=False的意义为拒绝默认的301/302重定向，从而可以通过html.headers[‘Location’]拿到重定向的URL

scrapy 解决Redirecting 301 302重定向问题相关推荐

php如何实现302重定向,php 301 302重定向实现代码
很多网站的站长们都喜欢把前台的顶级域名301重定向到带有www的二级域名上,或者带www的二级域名重定向到顶级域名上,以集中权重.而在网站的后端设计中,一些页面的提交跳转则需要使用到302重定项.关于 ...
Nginx 301 302重定向
# 301 永久重定向到https server {server_name xxx.com;rewrite ^(.*)$ https://$host$1 permanent; } # 302 临时重定 ...
nginx 301 302重定向跳转配置 (一般都做301,对seo好)
http://www.3lian.com/edu/2013/07-01/77550.html 首先看一个完整代码示例,关于nginx 301 302跳转的. 301跳转设置: server { lis ...
【nginx】return 301 302 重定向URL
前言 nginx version: nginx/1.18.0 CentOS Linux release 7.6.1810 (Core) 301 方法1:rewrite location /t1/res ...
http302重定向缓存_如何清除301/302重定向缓存
http302重定向缓存我认为许多Web开发人员和服务器管理员都面临着301重定向缓存. 在学习课程之前,我经常面对它. 我希望它能对您有所帮助,您可以从我这里学到一些东西,而不是从自己的错误中学 ...
301 302区别_302状态码代表什么，302状态码解决方法
302是HTTP协议中的一个状态码(Status Code).可以简单的理解为该资源原本确实存在,但已经被临时改变了位置:换而言之,就是请求的资源暂时驻留在不同的URI下,故而除非特别指定了缓存头部指 ...
python scrapy爬虫遇见301_python Scrapy框架报301
在使用Scrapy框架中总是遇到这类问题,在此留下记录,方便查阅. 三种解决方式: 解决(一) 在Request中将scrapy的dont_filter=True,因为scrapy是默认过滤掉重复的请 ...
http 302重定向
302重定向又称之为302代表暂时性转移(Temporarily Moved ),英文名称:302 redirect. 也被认为是暂时重定向(temporary redirect),一条对网站浏览器的 ...
【Scrapy】301、302重定向问题原因及解决办法
Scrapy的301.302重定向问题原因及解决办法根据 HTTP标准 ,返回值为200-300之间的值为成功的response. Scrapy运行爬虫过程中,目标网站返回301或302,而没有获取 ...

scrapy 解决Redirecting 301 302重定向问题

另外：

scrapy 解决Redirecting 301 302重定向问题相关推荐

最新文章

热门文章