python批量检测URL访问状态
前言
由于环境问题弄了两个版本的脚本,下面分享一下。
python2.6.6
照着python3改的
注意字符间隔,python版本…
#-*- coding: utf-8 -*-
#!/usr/bin/python
#\..... --... ..--- ---..\..... ....- .---- --...#导入模块
import time
from io import open
import urllib2, urllib#解决中文字符问题
import sys
reload(sys)
sys.setdefaultencoding('utf8')## 将获取网站状态码以及输出异常域名的功能写成函数,调用的时候只需要将文件路径放进参数即可
def get_error_mode(mode_list):
##定义一个set集合error_list= set()url_list = open(mode_list, 'r')for line in url_list:##设置url格式,去除空行,非空行的行才可以进入条件进行循环if len(line.strip()):line_no_blank = line.strip()
#设置url格式,加http://头 url = "http://"+line_no_blanktry:start = time.clock()
## 配置超时时间file = urllib2.urlopen(url,data=None,timeout=10)
## 获取访问状态 elapsed = (time.clock() - start)print "%s可正常访问" % line_no_blank print "状态码:%s" % file.getcode()print "耗时:%s" % elapsed print "+++++++++++++++++++++++++++++++++++++++"#异常域名会进入except,可以得到出错HTTPErrorexcept urllib2.HTTPError, e:print "%s异常" % line_no_blankif hasattr(e, "code"):print "错误状态码: %s" % e.codeerror_code = unicode(e.code)print "出错原因:%s" % eerror_reason = unicode(e)print "+++++++++++++++++++++++++++++++++++++++"error_status = error_code + '\t'+error_reasonerror_list.add(line_no_blank+'\t'+error_status+"\n")#异常域名会先进入except,可以得到出错URLErrorexcept urllib2.URLError, e:print "%s异常" % line_no_blankif hasattr(e, "reason"):print "出错原因:%s" % e.reasonerror_reason = unicode(e.reason)print "+++++++++++++++++++++++++++++++++++++++"#配置要写入文件内容error_status = error_reasonerror_list.add(line_no_blank+'\t'+error_status+"\n")url_list.close()#在终端打印内容print "所有访问异常url:"for line_lai in error_list:print line_lai#将error_list写入一个文件abnormal_list = open('/xxx/xxx/访问异常url.txt','w')abnormal_list.writelines(error_list)abnormal_list.close()#下面配置进行批量检测的url
get_error_mode('/xxx/xxx/url.txt')
python3.6.5
照着网友改的
#!/usr/bin/python
#-*-coding: utf-8 -*-
#\..... --... ..--- ---..\..... ....- .---- --...import urllib.request,urllib.error,time## 将获取网站状态码以及输出异常域名的功能写成函数,调用的时候只需要将文件路径放进参数即可
def get_error_mode(mode_list):
##定义一个set集合error_list= set()url_list = open(mode_list, 'r')for line in url_list:
##设置url格式,去除空行,非空行的行才可以进入条件进行循环if len(line.strip()):line_no_blank = line.strip()url = "http://"+line_no_blanktry:start = time.clock()
## 配置超时时间file = urllib.request.urlopen(url,timeout= 10)## 获取访问状态elapsed = (time.clock() - start)print "%s可正常访问" % line_no_blank print "状态码:%s" % file.getcode()print "耗时:%s" % elapsed print "+++++++++++++++++++++++++++++++++++++++"#异常域名会进入except,可以得到出错URLErrorexcept urllib.error.URLError as e:print("%s异常" % line_no_blank)if hasattr(e, "code"):print("错误状态码: %s" % e.code)error_code = str(e.code)if hasattr(e ,"reason"):print("出错原因:%s" % e.reason)error_reason = str(e.reason)#配置要写入文件内容error_status = error_code + '\t'+error_reasonerror_list.add(line_no_blank+'\t'+error_status+"\n")url_list.close()
#在终端打印内容 print("所有访问异常域名:")for line_lai in error_list:print(line_lai)
#将error_list写入一个文件abnormal_list = open('/xxx/xxx/访问异常url.txt','w')abnormal_list.writelines(error_list)abnormal_list.close()#下面配置进行批量检测的url
get_error_mode('/xxx/xxx/url.txt')
python批量检测URL访问状态相关推荐
- Sqlmap速查表/功能移植/Python批量检测SQL注入
title: Sqlmap速查表与Python进行功能移植 copyright: true top: 0 date: 2021-02-27 11:59:00 tags: [扫描注入,注入,sqlmap ...
- 批量检测六间房直播状态
Ver: 1.0.3 软件环境:IE8 以上, 纯 html 格式 功能介绍:1.根据连续房间号进行批量检测用户直播状态2.根据自定义文本内容进行检测用户直播状态 http://pan.baidu.c ...
- Python批量检测服务器端口可用性与Socket函数使用
socket函数 简述 socket又称套间字或者插口,是网络通信中必不可少的工具.有道是:"无socket,不网络".由于socket最早在BSD Unix上使用,而Unix/L ...
- shell 脚本批量检测主机存活状态
liunx 服务器管理中,有时需要检测主机的存活状态,当主机不多的时候,可以直接使用Ping 命令,当主机很多的时候直接使用ping 命令管理起来就比较麻烦了,使用shell 脚本编写的ping 命令 ...
- python批量检测IP代理是否可用
首先,我们需要导入必要的库: import requests import time 然后,我们可以定义一个函数来检测代理是否可用: def check_proxy(proxy):# 使用代理发起请 ...
- Python 批量查询URL百度权重
查询网站为站长之家rank.chinaz.com 本人刚接触py不久,做了个比较笨权重查询的方法. 使用方法: 直接copy代码new一个xx.py文件粘贴代码就可以使用 在同目录下新建一个url.t ...
- python新奇检测_3种Python检测URL状态
需求:Python检测URL状态,并追加保存200的URL 代码一: #! /usr/bin/env python #coding=utf-8 import sys import requests d ...
- python 批量查询网页导出结果_python批量查询网页的HTTP状态码
最近业余时间在改版一个网站,改版之前频繁调整了一些栏目的属性,包括栏目的层级,这种最怕就是调整了栏目的从属关系,导致了栏目的URL地址改变,一旦改版就导致整个栏目及其下面的文章页地址变更,成为死链.而 ...
- http状态码批量检测工具
摘要 在做医院网站SEO或运维的时候,有时需要查看一批网页的可用状态,Chrome的F12 可以查看单个网页的状态码,但是没法批量查看.这个小工具的功能就是批量导入一批URL,检测后导出为csv文件查 ...
最新文章
- Python + 爬虫:可视化大屏帮你选粽子
- linux命令详解-useradd,groupadd
- java -- 线程的生命周期
- SQL Server数据库重命名、数据导出等若干问题
- Three.js之渲染器
- JDK7集合框架源码阅读(五) Hashtable
- python通过身份证或出生日期获取年龄
- Java开发必备软件安装大全(建议学生党初学Java开发收藏)
- 鼠标测试软件m,[论坛]魔技无线激光鼠标测试心得(二)
- ASPP - 空洞空间金字塔池化
- 自动驾驶芯片之——FPGA和ASIC介绍
- 分分钟搞定python破解无线wifi
- Python 以练促学之 List 篇
- Linux -- snmp v3开通、认证、加密及其他
- RTX3080Ti和RTX2080Ti性能差距 RTX3080Ti和RTX2080Ti参数对比哪个好
- 新手如何做自媒体赚钱?天天看头条却不赚钱,这份资料对你有启发
- 【技术邻】基于Ansys Icepak的散热器优化
- ren域名有价值吗?值不值得投资?ren域名的应用范围有哪些?
- linux怎么设置永久变量,Linux环境变量永久设置方法(zsh)
- omnet++仿真软件会从运行模拟开始