爬虫的基本流程

、

网页的请求与响应

网页的请求和响应方式是 Request 和 Response

Request：用户将自己的信息通过浏览器（socket client）发送给服务器（socket server）

Response：服务器接收请求，分析用户发来的请求信息，收到请求信息后返回数据（返回的数据中可能包含其他链接，如：image、js、css等）

浏览器在接收 Response 后，会解析其内容来显示给用户，而爬虫程序在模拟浏览器发送请求然后接收 Response 后，是要提取其中的有用数据。

1、发起请求：Request

请求的发起是使用 http 库向目标站点发起请求，即发送一个Request

Request对象的作用是与客户端交互，收集客户端的 Form、Cookies、超链接，或者收集服务器端的环境变量。

Request 对象是从客户端向服务器发出请求，包括用户提交的信息以及客户端的一些信息。客户端可通过 HTML 表单或在网页地址后面提供参数的方法提交数据。

然后服务器通过 request 对象的相关方法来获取这些数据。request 的各种方法主要用来处理客户端浏览器提交的请求中的各项参数和选项。

Request 包含：请求 URL、请求头、请求体等

Request 请求方式： GET/POST

请求url: url全称统一资源定位符，一个网页文档、一张图片、一个视频等都可以用url唯一来确定

请求头： User-agent：请求头中如果没有 user-agent 客户端配置，服务端可能将你当做一个非法用户；

cookies： cookie 用来保存登录信息

一般做爬虫都会加上请求头
例如：抓取百度网址的数据请求信息如下：

2、获取响应内容

爬虫程序在发送请求后，如果服务器能正常响应，则会得到一个Response，即响应；

Response 信息包含：html、json、图片、视频等，如果没报错则能看到网页的基本信息。例如：一个的获取网页响应内容程序如下：

以上内容输出的就是网页的基本信息，它包含 html、json、图片、视频等，如下图所示：

Response 响应后会返回一些响应信息，例下：

1、响应状态

200：代表成功
301：代表跳转
404：文件不存在
403：权限
502：服务器错误

2、Respone header

set-cookie：可能有多个，是来告诉浏览器，把cookie保存下来

3、preview 是网页源代码

最主要的部分，包含了请求资源的内容，如网页html、图片、二进制数据等

3、解析内容

解析 html 数据：解析 html 数据方法有使用正则表达式、第三方解析库如 Beautifulsoup，pyquery 等

解析 json 数据：解析 json数据可使用 json 模块

解析二进制数据:以 b 的方式写入文件

4、保存数据

爬取的数据以文件的形式保存在本地或者直接将抓取的内容保存在数据库中，数据库可以是 MySQL、Mongdb、Redis、Oracle 等……

写在最后

爬虫的总流程可以理解为：蜘蛛要抓某个猎物-->沿着蛛丝找到猎物-->吃到猎物；即爬取-->解析-->存储；

在爬取数据过程中所需参考工具如下：

爬虫框架：Scrapy
请求库：requests、selenium
解析库：正则、beautifulsoup、pyquery
存储库：文件、MySQL、Mongodb、Redis……

需要相关python资料的可以扫一扫备注【爬虫】

巨细！Python爬虫详解（建议收藏）相关推荐

Python爬虫详解：爬虫是什么，如何做爬虫？
Python爬虫详解:爬虫是什么,如何做爬虫? 读前必看: 本篇文章为教学向文章,通俗易懂的语言难免有不合适的地方,请大佬自行退场爬虫是什么? 去查网,你会看到这样的解释: 爬虫是一种按照一定的规则 ...
巨细！Python爬虫详解
爬虫(又称为网页蜘蛛,网络机器人,在 FOAF 社区中间,更经常的称为网页追逐者):它是一种按照一定的规则,自动地抓取网络信息的程序或者脚本. 如果我们把互联网比作一张大的蜘蛛网,那一台计算机上的数据 ...
python爬虫步骤-Python爬虫详解，每一个步骤都给你细腻的讲解（附源码）
序言文中的文本及图片来自互联网,仅作学习培训.沟通交流应用,不具备一切商业行为,著作权归著作人全部,如不太好请立即在线留言以作解决. 今日来教大伙儿怎么使用Python来抓取博海拾贝的图片,归类储存 ...
大型企业中如何批量管理千万台服务器之ansible自动化运维工具详解 [⭐建议收藏⭐]
文章目录 ansible 自动化运维工具详解关于作者作者介绍一.ansible 概述 1.1 ansible 概述 1.2 是什么要使用 ansible 1.3 ansible 功能 1.4 ...
python爬虫详解（三）——爬取世界常用密码并保存到字典内
今天的爬虫有点特别,先爬取文本,然后base64解码,然后再存储至文本字典内点个赞留个关注吧!! 首先我们需要爬取网站链接代码如下: 爬取后我们只要password=内容,只要内容,不需要链接,所 ...
python爬虫详解（七）——使用爬虫查看实时疫情状况
因为最近疫情慢慢又开始起来了,我也很担心疫情,所以用爬虫做了一个疫情爬取程序,没有做太细,一个大致的框架,感兴趣的可以看一下,顺便提醒一下出门别忘了戴口罩,防范疫情!!! 点个赞留个关注吧!! 上代码 ...
Spring三十五问，四万字+五十图详解建议收藏
这节我们来搞定另一个面试必问知识点--Spring. 有人说,"Java程序员都是Spring程序员",老三不太赞成这个观点,但是这也可以看出Spring在Java世界里举足轻重的 ...
python爬虫详解（五）——爬取王者荣耀英雄详细、攻略搭配、出装配置、铭文搭配、搭档/压制、入手详情
今天给大家爬取一个王者荣耀的详情,让大家更好更快了解,说白了,就是想练练手点个赞留个关注吧!! 今天爬取的内容相对简单,我也不知道难不难,可能对于新手来说会一点难,难就难着吧,不下功夫当然过不了,熬 ...
python爬虫详解（四）——使用爬虫爬取你想要的图片类似于图片下载器【百度引擎】
这个爬虫用的是百度引擎,后续需要爬取别的网站需要自行更改点个赞留个关注吧!! 我们废话不多说,上代码: # -*- coding: utf-8 -*- import re import reques ...

巨细！Python爬虫详解（建议收藏）