在网页爬取的时候，有时候需要判断下要爬取网页的网页HTTP状态码，然后再进行相关的工作。

1.网页HTTP状态码

HTTP状态码表示HTTP协议所返回的响应状态。具体参考：http://baike.baidu.com/view/1790469.htm?fr=aladdin

HTTP状态码有5种，所有状态码的第一个数字代表了响应的5种状态之一：(1)消息：1XX；(2)成功：2XX;(3)重定向：3XX;(4)请求错误：4XX;(5)服务器错误：5XX.

我目前常用的就两种：

(1)200：请求成功，请求所希望的响应头或者数据体随此响应返回。

(2)404：Not Found，请求失败，表示请求的资源未被在服务器上发现。整个状态可能是暂时的，也可能是永久的。所以，要做好该状态下的处理。

2.Python获取HTTP状态码

根据查找的资料，目前常用的有3中方法获取HTTP状态码。

(1)requests库

#coding=utf-8

import requests

def get_status(url):

r = requests.get(url, allow_redirects = False)

return r.status_code

def main():

status=get_status('http://www.baidu.com/')

if status==200:

print "Success"

else:

print "Failed"

if __name__=="__main__":

main();

(2)urllib库

#conding:utf-8

import urllib

def get_status(url):

res=urllib.urlopen(url)

page_status=res.getcode()

return page_status

def main():

url="http://www.baidu.com/"

page_status=get_status(url)

print page_status

if __name__=="__main__":

main()

(3)urllib2库

#coding:utf-8

import urllib2

def show_status(url):

req = urllib2.Request(url)

try:

response = urllib2.urlopen(req)

except urllib2.URLError, e:

error_status=e.code

print error_status

else:

print 'Success'

def main():

url="http://www.baidu.com/"

show_status(url)

if __name__=="__main__":

main()

3.应对异常

首先引入URLError的概念，URLError在没有网络连接或者服务器不存在的情况下产生的异常。HTTPError是URLError的子类，所以在捕捉异常时要注意二者的顺序。常见的异常捕捉方式及应对方式为：

#coding:utf-8

from urllib2 import Request, urlopen, URLError, HTTPError

def show_status(url):

req = Request(url)

try:

response = urlopen(req)

except HTTPError, e:

print 'Error code: ', e.code

except URLError, e:

print 'Reason: ', e.reason

else:

print 'Success'

def main():

url="http://www.baidu.com/"

show_status(url)

if __name__=="__main__":

main()

尊重个人努力，转载时请注明出处：http://blog.csdn.net/edward2jason/article/details/38379931