【小白学爬虫连载（1）】-爬虫框架简介

欢迎大家关注公众号【哈希大数据】

【小白学爬虫连载（1）】-爬虫框架简介

【小白学爬虫连载（2）】--Requests库介绍

【小白学爬虫连载（3）】--正则表达式详细介绍

【小白学爬虫连载（4）】-如何使用chrome分析目标网站

【小白学爬虫连载（5）】--Beautiful Soup库详解

【小白学爬虫连载（6）】--Selenium库详解

【小白学爬虫连载（7）】--scrapy框架的安装

【小白学爬虫连载（8）】--scrapy框架入门教程

【小白学爬虫连载（9）】--scrapy构架设计分析

【小白学爬虫连载（10）】--如何用Python实现模拟登陆网站

【小白学爬虫连载（11）】--获取免费高匿代理IP

【小白学爬虫连载（11）】--pyquery库详解

【小白学爬虫连载（13）】--Scrapy如何突破反爬虫

爬虫是什么？
请求、获取，整理、保存你想要的网站数据的一种自动化程序。
爬虫基本步骤
爬虫抓取网站数据和我们平常浏览网页的步骤是一样的主要可分为四个步骤：

发起请求
Python通过HTTP库向目标站点发起Request请求，请求主要包含URL（也就是网站的网址）以及User-Agent、cookies等请求头信息，然后等待服务器响应。
下载响应内容
如果服务器正常响应，会返回一个Response（响应），Response中包含状态码、响应头、响应体等，响应体内容类型可能有HTML，Json字符串，二进制数据（如图片、视频）等类型。
解析下载内容
得到的如果是HTML，在python中可以用正则表达式(re库)、解析库(Beautifulsoup、pyquery、xpath)进行解析。如果是Json，可以直接转为Json对象解析，可能是二进制数据（图片、视频），可以直接按相应格式保存。
保存数据
可根据获取到的数据格式，已经业务需求存为文本（txt或Json格式），也可保存到关系型数据库或非关系型数据库，或者保存特定格式的文件。

Request和Response是什么？分别包含哪些内容?

当客户端（对网站来说是浏览器）向服务器发送请求时，服务器会先创建两个对象：request对象和response对象。其中request对象中封装的是请求信息，response是用来向客户端响应信息。当客户端接收到响应信息后会进行相应解析显示。
Request主要包含以下内容：

1.请求方式
常用的请求方式主要有两种：
GET：从服务器上获取数据
POST：可简单理解为向服务器传送数据新建一条记录
还有其他四种：
HEAD:获取网页请求头信息
PUT：可简单理解为向服务器传送数据覆盖URL位置的资源
PATCH:可简单理解为向服务器传送数据更新部分内容
DELETE：删除URL位置存储的数据

2.请求URL
URL是Uniform Resoure Locator 的缩写，译为“统一资源定位符”，通俗来说，URL是是Internet上描述信息资源的字符串，采用URL可以用一种统一的格式来描述各种信息资源，包含文件、服务器的地址目录等。URL是计算机世界的详细地址，通过它可以定位到你想获取的数据。

3.请求头
Headers包含请求的头部信息，包括User-Agent、Cookies等。

4.请求体
POST、PUT、PATCH、DELETE等请求需要向数据库传到数据，这部分内容在请求体中。

Response主要包含以下内容：
1.响应状态
存在多种响应状态：常见的有200：请求成功；301：重定向；403：服务器拒绝执行请求；404请求失败，在服务器中找不到该资源。503：请求失败，服务器当前无法处理请求。

2.响应头
响应头包含：响应内容的类型和编码类型，服务器的信息等

3.响应体
包含求取资源的内容，如网页HTML，json，图片，视频等二进制数据等。

如何解析数据

在Python中根据获取的的内容可分为以下解析方式：

1.获取到的是json格式数据，用json包中的loads函数将已编码的 JSON 字符串解码为 Python 对象。

2.获取的是HTML，及二进制数据，可以用以下几种方式：

正则表达式(re库)直接提取信息，正则表达式的使用范围最为宽泛，但规则较多，使用难度大。
BeautifulSoup库:它是解析、遍历、维护“标签树”(HTML可认为是一个标签树)的功能库。HTML中的信息有很多，该库可以帮我们快速定位、获取我们想要的信息。具体使用方法后面再讲。

image

PyQuery库:该库是jQuery的Python实现，也是一个很棒的解析HTML文件的库，它的优点是语法简单，但我在实际应用过程中会出现部分标签解析不出的情况。这个大家要留意，当检查过语法无误但依然无法解析出标签内容时请换种解析方式（推荐使用BeautifulSoup）。

如何保存数据

Python提供各种数据的保存方式，所以数据的保存格式主要是看自己的需求。一般可保存为以下格式：

可以保存为简单的纯文本格式或json格式，在保存时记得制定编码格式（如utf-8或gbk）。
对于图片或视频可保存为对应格式的二进制文件。
可保存到MySQL、Oracle、SqlServer等关系型数据库。
可保存到MongoDB、Redis等关系型数据库

本次分享就到这里，下次将给大家分享如何用Python中的requests库爬取你想要的的数据。

【小白学爬虫连载（1）】-爬虫框架简介相关推荐

小白学python（豆瓣爬虫）
小白学python(豆瓣爬虫) 这是我之前跟着教程做的一个小爬虫,爬取豆瓣top250影片资料.其实爬虫更多的是对库函数,html,正则等等知识的应用,像我这样只知皮毛是远远不够的.我暂且将代码贴出, ...
爬虫基础(五)-----scrapy框架简介
---------------------------------------------------摆脱穷人思维 <五> :拓展自己的视野,适当做一些眼前''无用''的事情,防止进入只关 ...
小白学react之页面BaseLayout框架及微信的坑
上一篇<小白学react之SASS实战>我们学习了如何通过运用sass来为我们的应用页面"上色",加入css的支持. 但是我们到现在为止,每个页面的标题还是系统默认的, ...
【小白学爬虫连载（3）】--正则表达式详细介绍
欢迎大家关注公众号[哈希大数据] [小白学爬虫连载(1)]-爬虫框架简介 [小白学爬虫连载(2)]--Requests库介绍 [小白学爬虫连载(3)]--正则表达式详细介绍 [小白学爬虫连载(4)]- ...
python 爬虫框架_小白学 Python 爬虫（28）：自动化测试框架 Selenium （下）
人生苦短,我用 Python 如果我的文章对您有帮助,请关注支持下作者的公众号:极客挖掘机,您的关注,是对小编坚持原创的最大鼓励:) 前文传送门: 小白学 Python 爬虫(1):开篇小白学 Py ...
小白学 Python 爬虫（27）：自动化测试框架 Selenium 从入门到放弃（上）
人生苦短,我用 Python 前文传送门: 小白学 Python 爬虫(1):开篇小白学 Python 爬虫(2):前置准备(一)基本类库的安装小白学 Python 爬虫(3):前置准备(二)Li ...
小白学 Python 爬虫（28）：自动化测试框架 Selenium 从入门到放弃（下）
人生苦短,我用 Python 前文传送门: 小白学 Python 爬虫(1):开篇小白学 Python 爬虫(2):前置准备(一)基本类库的安装小白学 Python 爬虫(3):前置准备(二)Li ...
python 使用socks 爬虫_小白学 Python 爬虫（17）：Requests 基础使用
人生苦短,我用 Python 前文传送门: 小白学 Python 爬虫(1):开篇小白学 Python 爬虫(2):前置准备(一)基本类库的安装小白学 Python 爬虫(3):前置准备(二)Li ...
post python爬虫_小白学 Python 爬虫（17）：Requests 基础使用
人生苦短,我用 Python 如果我的文章对您有帮助,请关注支持下作者的公众号:极客挖掘机,您的关注,是对小编坚持原创的最大鼓励:) 前文传送门: 小白学 Python 爬虫(1):开篇小白学 Py ...

【小白学爬虫连载（1）】-爬虫框架简介

【小白学爬虫连载（1）】-爬虫框架简介相关推荐

最新文章

热门文章