Python3实现批量网址的http响应状态码检测

1、上代码：

import signal
import time
import sys
import pandas as pd
from gevent import monkey
import requests# 取消线程阻塞
monkey.patch_all()
import gevent
import urllibdf = pd.read_csv("url_list.csv", encoding="GBK")
df2 = pd.read_csv("url_list.csv", encoding="GBK")
df2['result'] = "error"
print(df2)
url_lists = df["url_list"]
print("url_lists:", url_lists)def testNoHttpResponseException(url):print('GET: %s' % url)for url in url_lists:print("url:", url)try:responsecode = urllib.request.urlopen(url, timeout=1).getcode()print("responsecode:", responsecode)df2.ix[df2['url_list'] == url, 'result'] = responsecodeexcept:passcontinuegevent.sleep(3)# gevent.joinall添加所有的协程
# gevent.spawn创建一个协程testNoHttpResponseException，第二个参数url_list是传入程序的参数
gevent.joinall([gevent.spawn(testNoHttpResponseException, url_lists)])
df2.to_csv("checkresult.csv", encoding="GBK", index=False)

2、url_list.csv模板

Python3实现批量网址的http响应状态码检测相关推荐

python爬虫常见报错_Python爬虫常见HTTP响应状态码详解
在使用Python进行网页数据抓取时,经常会遇到无数据返还或错误等异常,这个时候可以通过status_code命令来查看获得http请求返回的状态码,以便查找原因并制定相应的解决方案.import r ...
http响应状态码大全
http响应状态码大全转:http://blog.sina.com.cn/s/blog_4ae187490100x9u7.html http状态返回代码 1xx(临时响应) 表示临时响应并需要请求者 ...
Servlet+常用头信息+响应状态码+响应对象
一.Servlet 1.概念什么是Servlet? 1.Servlet 是 java EE 的规范之一.也就是接口.Servlet 接口定义了一套网络请求的规范2.Servlet 是 javaweb ...
04 Response对象的status_code属性可以获取响应状态码
04 Response对象的status_code属性可以获取响应状态码文章目录 04 Response对象的status_code属性可以获取响应状态码 4.1 Response.status_c ...
HTTP协议响应状态码（301、302、303的区别）
1xx(临时响应) 表示临时响应并需要请求者继续执行操作的状态代码. 100 (继续) 请求者应当继续提出请求. 服务器返回此代码表示已收到请求的第一部分,正在等待其余部分. 101 (切换协议) 请 ...
接口响应状态码整理合集
前言请求后端接口的时候有时因为某些原因会返回一些错误状态码,不同的状态码对应不同的错误信息,为了方便状态码查询与问题定位,梳理总结一下. 目录 HTTP响应状态码分类 100-199 信息响应 20 ...
HTTP简介、请求方法与响应状态码
点击上方"方志朋",选择"置顶或者星标" 你的关注意义重大! Https相关的文章,请看这一篇:TCP.IP协议族之数字签名与HTTPS详解接下来想系统的回顾 ...
HTTP协议---HTTP请求中的常用请求字段和HTTP的响应状态码及响应头
http://blog.csdn.net/qxs965266509/article/details/8082810 用于HTTP请求中的常用请求头字段 Accept:用于高速服务器,客户机支持的数据类 ...
TCP/IP协议族(一) HTTP简介、请求方法与响应状态码
接下来想系统的回顾一下TCP/IP协议族的相关东西,当然这些东西大部分是在大学的时候学过的,但是那句话,基础的东西还是要不时的回顾回顾的.接下来的几篇博客都是关于TCP/IP协议族的,本篇博客就先简单 ...

Python3实现批量网址的http响应状态码检测

Python3实现批量网址的http响应状态码检测相关推荐

最新文章

热门文章