实战代码 

import requestsif __name__ == '__main__':http_headers = {'Accept': '*/*','Connection': 'keep-alive','User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.116 Safari/537.36'}try:resp = requests.get(url=item, headers=http_headers,timeout=10)except Exception as e:continueprint("resp", resp.url)

以上代码未有重试机制,下面加上重试机制加以完善

def get_real_url(url,try_count = 1):
if try_count > 3:return url
try:rs = requests.get(url,headers=http_headers,timeout=10)if rs.status_code > 400:return get_real_url(url,try_count+1)return rs.url
except:return get_real_url(url, try_count + 1)

Python 获取重定向url相关推荐

  1. 【转】PHP获取重定向URL的几种方法

    有时候我们会在开发中,经常会遇到有URL 301或 302重定向的情况,这时候我们可能需要获取重定向之后的url,下面我们介绍一下几种获取重定向url的方法: 1.用get_headers函数 php ...

  2. PHP获取重定向URL的几种方法

    有时候我们会在开发中,经常会遇到有URL 301或 302重定向的情况,这时候我们可能需要获取重定向之后的url,下面我们介绍一下几种获取重定向url的方法: 1.用get_headers函数 php ...

  3. 安卓 获取重定向Url最终地址

    String Url = "http://suo.im/5phIx5"; // 重定向url WebTool.GetRedirectUrl(context, Url, new Ca ...

  4. 利用python获取指定url在ATS中缓存对象的信息

    业务需求 给定url,如何查询指定的ATS中是否有该url的缓存对象信息?如果缓存了的话,希望提供该缓存对象的大小,缓存时间,缓存文件名,缓存份数(document alternative)等等信息 ...

  5. python获取重定向url_python中检测url重定向到的地址的例子

    2016年最长的假期也过了,这周连上7天班,之前还觉得挺恐怖,没想到这周真是要忙死的节凑,还真没觉得多漫长,一晃明天就周五了,干运维的就是突发的事情多,冷不丁的不知道哪里就冒出个问题,就够搞半天的,最 ...

  6. [jquery]AJAX 重定向的困境,如何重定向 URL 或如何设置重定向请求的属性

    我将通过 jQuery xhr 请求发送到远程站点 (这是扩展,铬和设置的所有跨站点设置 - -): $.ajax({type: "POST",contentType : &quo ...

  7. python获取url返回值_python获取url的返回信息方法

    如下所示: #!/usr/bin/env python # -*- coding: utf-8 -*- import os import sys import urllib import urllib ...

  8. python 对指定URL获取其子链接

    仿照http://blog.csdn.net/lming_08/article/details/44710779里面的方法, 获取指定URL 的所需的子链接及其描述. #!/usr/bin/pytho ...

  9. python获取url的json数据_通过url获取json数据并在python中使用(simplejson)

    我想这肯定有一个简单的答案,但我正在努力:我想获取一个url(输出json)并在python中的一个可用字典中获取数据.我被困在最后一步.>>> import urllib2 > ...

最新文章

  1. Linux下的一些问题收集及解决方法(二)
  2. c程序隐藏linux,linux 下隐藏进程的一种方法
  3. Windows服务器安全设置经验详谈
  4. 双优先编码器_掌握双原生 ISO,提升动态范围
  5. java怎么知道上传文件是否成功_文件包含漏洞之——tomcat CVE-2020-1938漏洞复现
  6. 信息学奥赛一本通 1078:求分数序列和 | OpenJudge NOI 1.5 32
  7. 大哥你需求里说只要工作流引擎组件,怎么真正需要的东西这么.悲剧了,客户需求无止境...
  8. 记Dorado7学习(4)
  9. 什么是智能DNS云解析?云解析如何实现智能解析效果?
  10. 单片机广告灯实验总结_关于单片机的一些小实验lowbar;01点亮一个灯
  11. 超详细!构建基于客户细分的 K-Means 聚类算法
  12. 鞋子微商怎么做qq引流?微商如何通过QQ空间引流
  13. 震惊!!!年度双生武魂诞生现场----双统安装(centos与windows)
  14. Mob 秒验 实测评
  15. web性能优化 JS/CSS CDN加速公共库
  16. 强化学习-Q-Learning算法
  17. 计算机微格教学教案设计表,微格教学教案设计表模板
  18. 大数据开发认知--spark
  19. Halcon DrawRegion()后会阻塞直到右键按下,请问如何主动取消绘制区域
  20. 本地文件复制到远程桌面无法粘贴

热门文章

  1. 1.6编程基础之一维数组_09向量点积计算
  2. 嵌入式CANopen协议从入门到落地产品(更新2021.9.8)
  3. STM32F407+CubeMX - 使用GPIO翻转+示波器测量函数的执行时间
  4. 虚拟机CentOS8 网络配置
  5. Spring Boot笔记-banner.txt的使用
  6. Java笔记-spring-rabbitmq中queue设置argument(添加x-message-ttl)
  7. Flask笔记-使用Cookie及简单加密判断是否为登录用户
  8. Java笔记-通过注解和插件自动生成get/set和toString方法,使代码结构清晰
  9. 系统架构师学习笔记-操作系统(一)
  10. Python工作笔记-往dll中传入char*类型的参数并且如何接收char*的值