用python写爬虫（一）初识爬虫

什么是爬虫

爬虫又被称之为网络蜘蛛、网络机器人等，简单来说就是模拟客户端发送网络请求，接收请求响应，按照一定的规则自动的抓取互联网信息的程序。

为什么需要爬虫

1.从个人角度来说，爬虫可以做我们的生活助手。

比如每天我们都会为吃什么而烦恼，那么一个可以定时爬取菜谱、菜单的爬虫程序就显得生活很有乐趣。
比如购物时要找到同类商品中最便宜的哪个，那么一个爬取商品信息的爬虫程序就可以让你省不少钱。

2.从商业角度来说，爬虫能实现巨大的商业价值。

公司的决策离不开数据，知道用户需要什么，了解不同的人不同的喜好，根据大数据分析辅助决策公司的发展方向，工作重点。

爬虫的分类

网络爬虫根据系统结构和开发技术大致可以分为四种类型：通用网络爬虫、聚焦网络爬虫、增量式网络爬虫、深层网络爬虫。

通用网络爬虫
1、通用爬虫又称为全网爬虫，也就是常说的搜索引擎，常见的有百度，Google,必应等搜索引擎，爬行对象从一些初始URL扩充到整个网站。
我们用搜索引擎获取信息时，就是用到了爬虫，那么既然已经有了爬虫，还是百度，谷歌这种值得信赖的大公司，我们何必自己费劲去写爬虫呢？先让我们了解一下聚焦网络爬虫，再来解答这个问题。

2、聚焦网络爬虫又称为主题网络爬虫，选择性的爬取根据需求的主题相关页面的网络爬虫。

使用通用网络爬虫，是从全网搜索想要的信息，在数据、信息爆炸的今天，信息多的看都看不过来，怎么样才能高效的获取我们想要的信息呢？好不容易找到信息了，这么多数据与信息，怎么样把他们保存下来呢？好不容易保存下来了，下一次还要抓取这些信息时该怎么办呢？
这时候聚焦爬虫就要显神威了，它只爬取特定网页的信息，换个说法，只爬取我们想要的信息，等到我们需要的时候数据、信息的时候，运行程序即可。所以，聚焦爬虫就相当于为我们私人定制信息获取程序！听起来是不是还不错呢。

3、增量式网络爬虫
指对已下载、已爬取网页采取增量式更新和只爬取新产生或者已经发生变化的网页的爬虫。
如果我们对信息有持续的需求，那么就可以写这样一个爬虫。但是此类爬虫较为复杂，目前不太普及。

4、深层网络爬虫
现在大部分网页内容不能通过静态URL获取，隐藏在搜索表单后或者只有用户提交一些关键词才能获得的网络页面。
随着反爬虫的不断更新与发展，网页上的数据不再是简单的存储在源代码当中，各种各样的反爬虫，需要我们一同分析研究，突破网页关卡，获取到想到的信息。

爬虫的原理

我们可以把互联网比作一张大网，而爬虫便是网上爬行的蜘蛛。把网的节点比作一个个网页，爬虫爬到这就相当于访问该页面，获取了其信息。可以把节点间的连线比作网页之间的链接关系，这样蜘蛛通过一个节点后，可以顺着节点连线继续爬行到达下一个节点，即通过一个网页继续获取后续的网页，这样整个网的节点便可以被蜘蛛全部爬行到，网站的数据就可以被爬取下来了。

参考书目：

《实战python网络爬虫》黄永祥
《python3网络爬虫开发实战》崔庆才