python检查URL是否能正常访问

https://blog.csdn.net/u010798367/article/details/53008439

今天，项目经理问我一个问题，问我这里有2000个URL要检查是否能正常打开，其实我是拒绝的，我知道因为要写代码了，正好学了点python，一想，python处理起来容易，就选了python，开始把思路想好：

1.首先2000个URL。可以放在一个txt文本内

2.通过python 把内容内的URL一条一条放进数组内

3.打开一个模拟的浏览器，进行访问。

4.如果正常访问就输出正常，错误就输出错误

直接简单粗暴甩代码。因为涉及到隐私，图片打了码

import urllib.request
import time
opener = urllib.request.build_opener()
opener.addheaders = [('User-agent', 'Mozilla/49.0.2')]
#这个是你放网址的文件名，改过来就可以了
file = open('test.txt')
lines = file.readlines()
aa=[]
for line in lines:
temp=line.replace('\n','')
aa.append(temp)
print(aa)
print('开始检查：')
for a in aa:
tempUrl = a
try :
opener.open(tempUrl)
print(tempUrl+'没问题')
except urllib.error.HTTPError:
print(tempUrl+'=访问页面出错')
time.sleep(2)
except urllib.error.URLError:
print(tempUrl+'=访问页面出错')
time.sleep(2)
time.sleep(0.1)

python检查URL是否能正常访问相关推荐

python测试url是否可访问，网站是否连通的方法
目录前言 1. requests库 1.1 传参 1.2 响应内容 2. python web 前言一般这种方法用在校验比如前端界面传回后端的url,如果返回值不是200,不保存其值调用的接 ...
Python 通过URL打开图片的几种方式
Python 通过URL打开图片实例详解不论是用OpenCV还是PIL,skimage等库,在之前做图像处理的时候,几乎都是读取本地的图片.最近尝试爬虫爬取图片,在保存之前,我希望能先快速浏览一遍图 ...
python 根据 url 批量下载文件到本地
需求说明将服务器上的文件(动物图片)批量下载到本地,并保留服务器上的目录结构. 一个很好的下载方法是:将服务器上的文件压缩为一个压缩包,然后直接下载一个压缩包到本地即可. 该方案缺点:压缩后的压缩包 ...
python检查目录是否存在，如果不存在则创建
python检查目录是否存在,如果不存在则创建 # 检查用户主目录中是否存在目录.如果目录不存在,那么将创建一个目录. import os # Import the OS moduleMESSAGE ...
python官网没有中文-python 检查是否为中文字符串的方法
[目标需求] 查看某一个字符串是否为中文字符串 [解决办法] def check_contain_chinese(check_str): for ch in check_str: if u'一' &l ...
python下载的库要放到哪里-Python下载url并保存文件的三种方法
本节主要内容: 学习python下载Url并保存文件的方法. Python中通常是使用Http利用urllib或urllib2模块来下载url中的内容. 当然也可以利用ftplib从ftp站点下载文件 ...
boost::python模块实现使用原始指针访问数据的示例
boost::python模块实现使用原始指针访问数据的示例实现功能 C++实现代码实现功能 boost::python模块实现使用原始指针访问数据的示例 C++实现代码 #include < ...
[转] 三种Python下载url并保存文件的代码
原文三种Python下载url并保存文件的代码利用程序自己编写下载文件挺有意思的. Python中最流行的方法就是通过Http利用urllib或者urllib2模块. 当然你也可以利用ftplib ...
php判断url参数为空,PHP检查url链接是否已经有参数的简单示例
这篇文章主要为大家详细介绍了PHP检查url链接是否已经有参数的简单示例,具有一定的参考价值,可以用来参考一下. 感兴趣的小伙伴,下面一起跟随512笔记的小编小韵来看看吧!比如分页,因为有些链接已经有 ...

python检查URL是否能正常访问

python检查URL是否能正常访问相关推荐

最新文章

热门文章