HTTP请求过程——Chrome浏览器Network详解

当我们使用Python进行爬虫的时候，其实就是一个模拟的资源访问返回过程，使用第三方库用目的url向所在的服务器发出请求，网站的服务器接收到这个请求后进行处理和分析，然后返回响应。响应中包含了页面的源代码等内容，然后我们在对次进行解析和处理，从中得到我们想要的信息。

每个网站根据自己所展示的内容的不同，会有不同级别的反爬手段，我们就要对此进行分析，才能正确的得到自己想要的返回相应，为了更直观的说明这个过程，使用Chrome浏览器的Network监听组件来进行分析。

打开Chrome 浏览器，快捷键F12即可打开浏览器的开发者工具。这里访问百度，观察这个过程中发生了怎样的网络请求。在Network页面下方出现了一个个的条目，其中一个条目就代表一次发送请求和接收响应的过程。

Name：请求名称
Status：响应状态码。200为响应成功，这个可以判断请求是否的到了正常响应
Type：请求文档类型。document即为一个HTML文档，即HTML代码
Initiator：请求源。用来标记请求是由哪个对象或进程发起的
Size：从服务器下载的文件和请求资源的大小。如果是从缓存中得到的资源，则为from cache
Time：发起请求到获得响应的总时间
Waterfall：网络请求的可视化瀑布流

点开第一个请求的详细信息。

返回头：

General部分：
Request URL：请求的URL
Request Method：请求使用的方法
Status Code：响应状态码
Remote Address：远程服务器的地址和端口
Reffer Policy：Referrer判别策略

请求头：

Accept：请求报头域，用于指定客户端可接受哪些信息类型
Accept-Encoding：指定客户端可接受的语言类型
Accept-Language：指定客户端可接受的内容编码
Host：指定请求资源的主机IP和端口号，其为请求URL的原始服务器或网关的位置
Cookie：网站为了辨别用户进行会话跟踪而储存在用户本地的数据。主要功能是维持当前访问会话。（非常重要！！！）
Referer：用来标识这个请求是从哪个网页过来的。服务器拿到这一信息并做相应的处理，如来源统计，防盗链等
User-Agent:一个特殊的字符串头，可以使服务器识别客户使用的操作系统及版本等信息。在做爬虫时一定要加上此信息
Content-Type：互联网媒体类型，在HHTP协议消息中，用来表示具体请求中的媒体信息类型

以上说明了最重要的…

相应头：

Date：标识产生响应的时间
Content-Encoding：指定响应内容编码
Server：包含服务器信息，如名称，版本号等
Content-Type：文档类型，指出返回的数据类型是什么。如此处的text/html代表返回的是HTML代码
Set-Cookie：设置Cookies。响应头中的Set-Cookie告诉浏览器要将此内容放在Cookies中，下次请求携带Cookies请求
Expires：指定响应过期时间，可以使代理服务器将加载的内容更新到缓存当中。如果再次访问，就可直接从缓存中加载，降低服务器的负载，缩短加载时间。

以上说明了最重要的…

一个HTTP请求包括了请求方法，请求网址，请求头，请求体，在爬虫的时候做重要的是做好请求头的伪装，要会看其网页返回的请求头，来分析其反爬，设置相应的请求头。之后就是响应体，从中我感觉最重要的是知道网页返回的内容的格式，从而来选择响应的第三方库来进行解析。

在请求头的设置中我感觉只要设置了User-Agent，Cookies，Referer，Accept便可应对绝大部分网页的反爬。

看到的兄弟可以在评论中分享一下自己在设置请求头时候的经验

HTTP请求过程——Chrome浏览器Network详解相关推荐

Chrome开发者工具详解(4)-Profiles面板
Chrome开发者工具详解(4)-Profiles面板如果上篇中的Timeline面板所提供的信息不能满足你的要求,你可以使用Profiles面板,利用这个面板你可以追踪网页程序的内存泄漏问题,进一 ...
http\https的连接过程及数字证书详解
http\https的连接过程及数字证书详解内推军p185 http连接过程(相当于输入url会发生什么) 1.域名解析 2.发起TCP的三次握手 3.Web浏览器向服务器发送http请求命令 4. ...
Chrome控制台使用详解
Chrome控制台使用详解 console.log 按信息级别归类 console.log:普通信息 console.info:提示类信息 console.error:错误信息 console.war ...
ios php 表单提交图片上传,axios发送post请求提交图片表单步骤详解
这次给大家带来axios发送post请求提交图片表单步骤详解,axios发送post请求提交图片表单的注意事项有哪些,下面就是实战案例,一起来看一下. DOME 接口const userUploadA ...
Chrome开发者工具详解（六）之Timeline面板
Chrome开发者工具详解(3):Timeline面板转载于:https://www.cnblogs.com/kunmomo/p/11201047.html
Android网页浏览器开发详解(一)
Android网页浏览器开发详解(一) 请支持原创,尊重原创,转载请注明出处:http://blog.csdn.net/kangweijian(来自kangweijian的csdn博客) Androi ...
九七的视觉工程 | 普通单目相机成像过程及相机内参详解
相机成像过程及相机内参详解一.定义介绍本节以小孔成像模型为例,详细介绍了普通单目相机的成像过程,相机内参及内参矩阵的详细含义.本节所述的成像原理与大部分相机成像原理类似,读懂此节可满足大部分与 ...
Chrome开发者工具详解（二）
Chrome开发者工具详解 (二) 前言一.Console面板 **定位面页节点** **Css选择器进行节点定位** 事件监听二.查看节点上注册的监听器总结前言 Console面板是与网页进 ...
Chrome开发者工具详解(2)-Network面板
注: 这一篇主要讲解面板Network,参考了Google的相关文档,主要用于公司内部技术分享. Chrome开发者工具面板面板上包含了Elements面板.Console面板.Sources面板. ...
一次请求到php都经过了哪些步骤,PHP高级之一次请求处理过程或生命周期详解
简介先看看下面这个过程: 我们从未手动开启过PHP的相关进程,它是随着Apache的启动而运行的:PHP通过mod_php5.so模块和Apache相连(具体说来是SAPI,即服务器应用程序编程接口) ...

HTTP请求过程——Chrome浏览器Network详解

HTTP请求过程——Chrome浏览器Network详解

HTTP请求过程——Chrome浏览器Network详解相关推荐

最新文章

热门文章