python爬虫常见报错_Python爬虫常见HTTP响应状态码详解

在使用Python进行网页数据抓取时，经常会遇到无数据返还或错误等异常，这个时候可以通过status_code命令来查看获得http请求返回的状态码，以便查找原因并制定相应的解决方案。import requestsr = requests.get("http://httpbin.org/get")r.status_code以下就是http请求返回状态码及对应的说明一、http请求返回状态码意义1、HTTP常见响应状态码及解释100 Continue 继续。客户端应继续其请求

101 Switching Protocols 切换协议。服务器根据客户端的请求切换协议。只能切换到更高级的协议，例如，切换到HTTP的新版本协议

200 OK 请求成功。一般用于GET与POST请求

201 Created 已创建。成功请求并创建了新的资源

202 Accepted 已接受。已经接受请求，但未处理完成

203 Non-Authoritative Information 非授权信息。请求成功。但返回的meta信息不在原始的服务器，而是一个副本

204 No Content 无内容。服务器成功处理，但未返回内容。在未更新网页的情况下，可确保浏览器继续显示当前文档

205 Reset Content 重置内容。服务器处理成功，用户终端（例如：浏览器）应重置文档视图。可通过此返回码清除浏览器的表单域

206 Partial Content 部分内容。服务器成功处理了部分GET请求

300 Multiple Choices 多种选择。请求的资源可包括多个位置，相应可返回一个资源特征与地址的列表用于用户终端（例如：浏览器）选择

301 Moved Permanently 永久移动。请求的资源已被永久的移动到新URI，返回信息会包括新的URI，浏览器会自动定向到新URI。今后任何新的请求都应使用新的URI代替

302 Found 临时移动。与301类似。但资源只是临时被移动。客户端应继续使用原有URI

303 See Other 查看其它地址。与301类似。使用GET和POST请求查看

304 Not Modified 未修改。所请求的资源未修改，服务器返回此状态码时，不会返回任何资源。客户端通常会缓存访问过的资源，通过提供一个头信息指出客户端希望只返回在指定日期之后修改的资源

305 Use Proxy 使用代理。所请求的资源必须通过代理访问

306 Unused 已经被废弃的HTTP状态码

307 Temporary Redirect 临时重定向。与302类似。使用GET请求重定向

400 Bad Request 客户端请求的语法错误，服务器无法理解

401 Unauthorized 请求要求用户的身份认证

402 Payment Required 保留，将来使用

403 Forbidden 服务器理解请求客户端的请求，但是拒绝执行此请求

404 Not Found 服务器无法根据客户端的请求找到资源（网页）。通过此代码，网站设计人员可设置"您所请求的资源无法找到"的个性页面

405 Method Not Allowed 客户端请求中的方法被禁止

406 Not Acceptable 服务器无法根据客户端请求的内容特性完成请求

407 Proxy Authentication Required 请求要求代理的身份认证，与401类似，但请求者应当使用代理进行授权

408 Request Time-out 服务器等待客户端发送的请求时间过长，超时

409 Conflict 服务器完成客户端的PUT请求是可能返回此代码，服务器处理请求时发生了冲突

410 Gone 客户端请求的资源已经不存在。410不同于404，如果资源以前有现在被永久删除了可使用410代码，网站设计人员可通过301代码指定资源的新位置411 Length Required 服务器无法处理客户端发送的不带Content-Length的请求信息

412 Precondition Failed 客户端请求信息的先决条件错误

413 Request Entity Too Large 由于请求的实体过大，服务器无法处理，因此拒绝请求。为防止客户端的连续请求，服务器可能会关闭连接。如果只是服务器暂时无法处理，则会包含一个Retry-After的响应信息

414 Request-URI Too Large 请求的URI过长（URI通常为网址），服务器无法处理

415 Unsupported Media Type 服务器无法处理请求附带的媒体格式

416 Requested range not satisfiable 客户端请求的范围无效

417 Expectation Failed 服务器无法满足Expect的请求头信息

500 Internal Server Error 服务器内部错误，无法完成请求

501 Not Implemented 服务器不支持请求的功能，无法完成请求

502 Bad Gateway 作为网关或者代理工作的服务器尝试执行请求时，从远程服务器接收到了一个无效的响应

503 Service Unavailable 由于超载或系统维护，服务器暂时的无法处理客户端的请求。延时的长度可包含在服务器的Retry-After头信息中

504 Gateway Time-out 充当网关或代理的服务器，未及时从远端服务器获取请求505 HTTP Version not supported2、常用请求头及解释：accept:浏览器通过这个头告诉服务器，它所支持的数据类型

Accept-Charset: 浏览器通过这个头告诉服务器，它支持哪种字符集

Accept-Encoding：浏览器通过这个头告诉服务器，支持的压缩格式

Accept-Language：浏览器通过这个头告诉服务器，它的语言环境

Host：浏览器通过这个头告诉服务器，想访问哪台主机

If-Modified-Since: 浏览器通过这个头告诉服务器，缓存数据的时间

Referer：浏览器通过这个头告诉服务器，客户机是哪个页面来的防盗链Connection：浏览器通过这个头告诉服务器，请求完后是断开链接还是保持链接二、部分返回状态码详解1、2XX成功1） 200 OK表示从客户端发来的请求在服务器被正常处理了。2） 204 no content表示从客户端发来的请求在服务器被正常处理了，但在返回的响应报文中不含实体的主体部分。3） 206 partial content

表示客户端进行了范围请求，而服务器成功执行了这部分的GET请求。2、3XX重定向1） 301 moved permanently永久性重定向。该状态码表示请求的资源已被分配了新的URI，以后应使用资源现在所指的URI。也就是说，如果已经把资源对应的URI保存为书签了，这时应按Location首部字段提示的URI重新保存。如下方给出的请求URI，当指定资源路径的最后忘记添加斜杠“/”，就会产生301状态码http://example.com/sample2） 302 found临时性重定向。该状态码表示请求的资源已被分配了新的URI，希望用户（本次）能使用新的URI访问。与301的区别：302代表的资源不是被永久移动，只是临时性质的，已移动的资源对应的URI将来还有可能发生改变。如用户把URI保存成书签，但不会像301出现时那样去更新书签，而是仍旧保留返回302的页面对应的URI。3） 303 see other表示由于请求对应的资源存在着另一个URI，应使用GET方法定向获取请求的资源。与302的区别：303明确表示客户端应采用GET方法获取资源当301、302、303响应状态码返回时，几乎所有的浏览器都会把POST改为GET，并删除请求报文内的主体，之后请求会自动再次发送。301、302标准是禁止将POST改为GET的，但实际使用时大家都会这么做。4） 304 not modified该状态码表示客户端发送附带条件的请求时，服务器端资源已找到，但未符合条件请求。304返回时，不包含任何响应的主体部分。304虽然被划分在3XX类别中，但是和重定向没有关系。5） 307 temporary rediect临时重定向。该状态码与302有着相同的含义，但307会遵照浏览器标准，不会从POST变成GET。对于处理响应时的行为，每种浏览器有可能出现不同的情况。3、4XX客户端错误1） 400 bad request该状态码表示请求报文中存在语法错误。当错误发生时，需修改请求的内容后再次发送请求。2） 401 unauthorized

该状态码表示发送的请求需要有通过HTTP认证（BASIC认证、DIGEST认证）的认证信息。另外，若之前已进行过1次请求，则表示用户认证失败。3） 403 forbidden该状态码表明对请求资源的访问被服务器拒绝了。服务器端没有必要给出拒绝的详细理由，但如果想作说明，可在实体的主体部分对原因进行描述，这样就能让用户看到了。4） 404 not found该状态码表明服务器上无法找到请求的资源。除此之外，也可以在服务器端拒绝请求且不想说明理由时使用。 4、5XX 服务器错误1） 500 internal server error该状态码表明服务器端在执行请求时发生了错误。也有可能是Web应用存在的bug或某些临时的故障。2） 503 service unavailable该状态码表明服务器暂时处于超负载或正在进行停机维护，现在无法处理请求。如果事先得知解除以上状况需要的时间，最好写入RetryAfter首部字段再返回给客户端。

3） 504 gateway timeout网关超时，由作为代理或网关的服务器使用，表示不能及时地从远程服务器获得应答。-----------------长按识别下方二维码，并关注公众号

1.回复“PY”领取1GB Python数据分析资料

2.回复“BG”领取5GB 名企数据分析报告

python爬虫常见报错_Python爬虫常见HTTP响应状态码详解相关推荐

python爬虫常见报错_Python爬虫系列之什么是爬虫
时间过的总是那么快,特别是对于一个有拖延症的人来说,例如我...早就想出一个关于爬虫的系列教程,但总是被自己的拖延症和一系列的杂碎事情打断.最近终于将自己的所有事情以及自己最真实的想法捋顺了,所以决定 ...
python爬虫常见报错_Python爬虫常见异常及解决办法
文章目录1.selenium.common.exceptions.WebDriverException: Message: unknown error: cannot find Chrome bina ...
HTTP中常见的各种状态码详解及解决方案
总结了一些常见的http的状态码,以及常见的解决方案. 一.各范围内状态码大致含义 1xx:临时响应(Informational),需要请求者继续执行操作的状态代码,表示服务器正在接受请求. 2xx: ...
python计算机视觉常见报错及解决方案（不断更新中）
python计算机视觉常见报错及解决方案 1.did not meet fit acceptance criteria 2.all the input arrays must have same nu ...
python接口自动化（七）--状态码详解对照表（详解）
简介我们为啥要了解状态码,从它的作用,就不言而喻了.如果不了解,我们就会像个无头苍蝇,横冲直撞.遇到问题也不知道从何处入手,就是想找别人帮忙,也不知道是找前端还是后端的工程师. 状态码的作用是:we ...
http常见状态码详解
http 中有许多状态码,如果不做些总结,真的很容易搞混,比如,201.404.301.202.504等等.要是一个个记是不是很难记,那么现在总结下规律,来帮助我们记忆所有的状态码可以分为: 1xx ...
安卓判断服务器返回的状态码,关于服务器返回的十四种常见HTTP状态码详解
原标题:关于服务器返回的十四种常见HTTP状态码详解 HTTP状态码状态码是由3位数字和原因短语组成的(比如最常见的:200 OK),其中第一位数字表示响应类别,响应类别从1到5分为五种 add:其 ...
iOS开发之HTTP的请求头和响应头以及常见的响应状态码
*************请求头************** 请求头:包含了对客户端的环境描述.客户端请求信息等 GET /minion.png HTTP/1.1 //包含了请求方法.请求资源路径 ...
常见HTTP响应状态码
状态代码有三位数字组成,第一个数字定义了响应的类别,且有五种可能取值: 1xx:指示信息--表示请求已接收,继续处理 2xx:成功--表示请求已被成功接收.理解.接受 3xx:重定向--信息不完整需要 ...

python爬虫常见报错_Python爬虫常见HTTP响应状态码详解

python爬虫常见报错_Python爬虫常见HTTP响应状态码详解相关推荐

最新文章

热门文章