《自己动手写网络爬虫》笔记2-Http状态码

在运行int statusCode = httpClient.executeMethod(postMethod); 的时候需要获得网页响应状态码。
Http状态码通常分为5类，分别以数字1-5开头，由3位整数组成。
1XX主要用作试验用途（之后补充，此次填写2016/12/13）;

状态码	代码描述	处理方式
200	请求成功	获得响应内容，进行处理
201	请求完成，结果是创建了新资源，新创建资源的URI可在响应的实体中得到	爬虫中不会遇到
202	请求被接受，但处理尚未完成	阻塞等待
204	服务器端已经实现了请求，但是没有返回新的信息。如果客户是用户代理，则无需为此更新自身的文档视图	丢弃
300	该代码不被HTTP1.0的应用程序直接使用，只是作为3XX类型回应的某人解释。存在多个可用的被请求资源	若程序中能够处理，则进一步处理，如果程序中不能处理，则丢弃
301	请求到的资源都会分配一个永久的URL，这样就可以在将来通过该URL来访问此资源	重定向分配的URL
302	请求道的资源在一个不同的URL处临时保存	重定向到临时的URL
304	请求的资源未更新	丢弃
400	非法请求	丢弃
401	未授权	丢弃
403	禁止	丢弃
404	没有找到	丢弃
5XX	服务器端发现自己的错误，不能继续执行请求	丢弃

如果状态码是3XX意味着需要进行转向操作：

if ((statusCode == HttpStatus.SC_MOVED_TEMPORARILY)||(statusCode==HttpStatus.SC_MOVED_TEMPORARILY)||(statusCode==HttpStatus.SC_SEE_OTHER)||(statusCode==HttpStatus.SC_TEMPORARY_REDIRECT)){//读取新的URL地址Header header=postMethod.getRequestHeader("location");if(header!=null){String newUrl=header.getValue();if(newUrl==null||newUrl.equals("")){newUrl="/";//使用post转向PostMethod redirector=new PostMethod(newUrl);//发送数据，作进一步处理//.....}}}

《自己动手写网络爬虫》笔记2-Http状态码相关推荐

网页爬虫python代码_《用python写网络爬虫》完整版+源码
原标题:<用python写网络爬虫>完整版+源码 <用python写网络爬虫>完整版+附书源码本书讲解了如何使用Python来编写网络爬虫程序,内容包括网络爬虫简介,从页面中 ...
记录《自己动手写网络爬虫》书中涉及的内容学习一些算法
第1篇自己动手抓取数据第1章全面剖析网络爬虫 3 1.1 抓取网页 4 1.1.1 深入理解URL 4 1.1.2 通过指定的URL抓取网页内容 6 1.1.3 Java网页抓取示 ...
《用python写网络爬虫》完整版+源码
向AI转型的程序员都关注了这个号
Python 网络爬虫笔记11 -- Scrapy 实战
Python 网络爬虫笔记11 – Scrapy 实战 Python 网络爬虫系列笔记是笔者在学习嵩天老师的<Python网络爬虫与信息提取>课程及笔者实践网络爬虫的笔记. 课程链接:Py ...
网络爬虫笔记—Selenium
网络爬虫笔记-Selenium 1.简介及环境安装 Selenium是一种自动化测试工具,利用它可以操作浏览器执行固定动作,例如点击.下拉等操作.在日常工作中,如果你需要用浏览器并且重复某项操作,那S ...
《用Python写网络爬虫第2版》PDF中英文+代码分析
互联网包含了迄今为止最有用的数据集,并且大部分可以免费公开访问.但是,这些数据难以复用.它们被嵌入在网站的结构和样式当中,需要抽取出来才能使用.从网页中抽取数据的过程又称为网络爬虫,随着越来越多的信息 ...
网络爬虫笔记—图形验证码获取
网络爬虫笔记-图形验证码获取 1.验证码获取思路 1)使用selenium库操作谷歌浏览器,打开目标网站: 2)对目标网站进行截图,并将图片保存到本地: 3)获取验证码元素节点在屏幕上的位置,即横纵坐 ...
python爬虫教程：Python写网络爬虫的优势和理由
在本篇文章里小编给各位整理了一篇关于选择Python写网络爬虫的优势和理由以及相关代码实例,有兴趣的朋友们阅读下吧. 什么是网络爬虫? 网络爬虫是一个自动提取网页的程序,它为搜索引擎从万维网上下载网页 ...
网络爬虫笔记—滑动验证码识别
网络爬虫笔记-滑动验证码识别一.什么是滑动验证码点击之前点击之后像这种通过滑动图片,补全缺口的方式,就是滑动验证码. 二.识别思路 1)使用selenium库操作谷歌浏览器,打开目标网站:关于 ...
《用Python写网络爬虫》——1.5 本章小结
本节书摘来自异步社区<用Python写网络爬虫>一书中的第1章,第1.5节,作者 [澳]Richard Lawson(理查德劳森),李斌译,更多章节内容可以访问云栖社区"异步 ...

《自己动手写网络爬虫》笔记2-Http状态码

《自己动手写网络爬虫》笔记2-Http状态码相关推荐

最新文章

热门文章