戳蓝字“智森一号”发送你的问题！

网络爬虫它是一个技术，本身并不难。

有看过前面几篇文章的应该知道我经常说一句话，把复杂的过程简单化，重复的过程自动化。

大家可以套用这个公式去想一想“网络爬虫”把什么过程简单化了，什么过程自动化了。如果想不明白的，看下面的案例。

这边我在跟大家说一句，“很多词本来并没有意义，是人们后天赋予了它意义，人们一般用它来概括某一个行为或过程”

所以不要想得太复杂，它比你想象中简单。说破了也就那么一回事儿。

高德地图案例

忽然很迷汉堡，想看看附近到底有多少汉堡店，都开在哪，如果有机会把它们吃一遍。

下面是手动找商家的过程：

打开高德地图——选择区域——搜索汉堡——看到很多商家——一家一家复制地址等信息——保存到电脑上。

我们将获取商家信息的过程，通过程序使它自动化，如下图。

看到这里明白了吗？

爬虫就是：从一个目标点(高德地图)，根据特定的规律(找商家的过程)，保存自己想要的数据(商家信息)

如何写一个爬虫

如果不想学的，可以滚动到文章底部，点个好看然后退出去。

我不知道你的语言基础如何，所学的语言是什么，所以我这边不从代码上去讲，如果想学习代码版的，可以在公众号内留言：语言，你的学习程度；我这边根据留言的数据考虑是否写一期代码版的。

我这边就简单的讲解一下爬虫的制作过程吧，根据你所用的语言，对号入座。

在你的所学的语言中，你需要知道：

1. 如何进行post/get并保存返回数据

2. 在一串字符串中，知道另一串字符串出现的位置

   1. 比如说：在 abcdefg 中 de 出现的位置

3. 给定两个位置和一段字符串，截取字符串中两个位置之间的内容

   1. 在 abcdefg 中 截取位置 2-4 之间的内容。

4. 替换字符串

   1. 在aabbcc 中 把 a 替换成 1 变成11bbcc

5. 如何循环执行，for或者while。

6. 如何做判断，与或非。

7. 计算字符串长度。

当你知道上面这些以后，你就可以制作出一个简单的爬虫。

以百度作为案例

基础流程图

我们对“根据规则整理数据” 展开讨论，我们以百度为例子，取搜索结果的链接地址。

单次截取流程

以获取搜索结果的链接为例子就是：

查找返回数据中：result c-container 字符串所在的位置，从这个位置查找href = "所在的位置记录为X1，从X1 的位置开始查找" 所在的位置，然后从返回数据中截取，x1到x2之间的内容。

这样就的得到了

唯一定位的意思：

每个“搜索结果”前面都有的一串字符串。我们可以用它来定位下一个搜索结果的位置。

如果数据量少的可以不用“唯一定位”，百度搜索结果的返回数据很长，“唯一定位”是为了定位每个结果的开头位置。

根据上面的方法你可以取出一条数据，如果想要，把所有的数据都取出来怎么办。

从左上角开始看

要想执行程序一开始就有两个条件

1.当前页码与返回数据中的相同：当前页码指的是网址上的pn值，给他还原成正常的网页，然后与返回数据中的当前所在页判断是否相同。如果不是，可能已经是最后一页。退出程序。

这里面有个比较有意思的地方，当你的页数到达最后一页以后，数据会一样。

取返回数据中的页码

2.要找得到“唯一定位”，根据前面的讲解，我们知道唯一定位是每个搜索结果开头一定会有的一个字符串，而且都相同。如果找不到这个“唯一定位”那么大概率是没有搜索结果。

这边展开讲一下翻页。

第一页

第二页

第三页

我们可以看见，pn数值在变，我们可以找到规律，并且大胆猜想

pn =(页数-1)* 10

如果要去20 页，就是19*10=190

翻页就是更新pn的值，重新进行 post/get。

这样你就做出了下面的效果

根据上面讲的知识，也可以取域名部分，过滤重复项

有兴趣的自己想想，在这不展开讨论

所以总结一下制作过程，给定一段内容，这段内容可以是从网站获取的，对这段内容通过查找“唯一定位”，查找开头标记，结尾标记，然后截取出其中的内容，进行排版。输出，保存。

如果只是自己用的话写成脚本就可以了，没必要做个页面。

如果你怕下次忘记你可以点击右上角分享到朋友圈，或点击收藏。

你可以研究一下怎么添加星标，下次第一时间获取教材

右下角的好看数量可能影响该类型文章的创作数量

遇到任何问题你都可以在公众号内留言