1、为什么要学习爬虫技术？

我们为什么要学习爬虫技术呢？因为我们现在来到了大数据时代，掌握了数据就是掌握了各种信息，从而开展我们的各项工作，我们所使用的的数据的来源有哪些呢？主要来自于下面几个方面：
（1）企业⽣产的⽤户数据
（2）数据管理咨询公司
（3）政府/机构提供的公开的数据
（4）第三⽅数据平台购买数据
（5）爬⾍爬取数据
所以，学习爬虫技术非常重要。

2、爬虫的定义

⽹络爬⾍（⼜被称为⽹⻚蜘蛛，⽹络机器⼈）就是模拟客户端发送⽹络请求，接收请求响应，⼀种按照⼀定的规则，⾃动地抓取互联⽹信息的程序。
只要是浏览器能做的事情，原则上，爬⾍都能够做。

3、爬虫的更多用途

（1）12306抢票
（2）⽹站上的投票
（3）短信轰炸（不建议）

4、爬虫怎么抓取网页上的数据？

1、网页三大特征：

⽹⻚都有⾃⼰唯⼀的URL
⽹⻚都是HTML来描述⻚⾯信息
⽹⻚都使⽤HTTP/HTTPS协议来传输HTML数据

2、爬虫的设计思路：

确定需要爬取的URL地址
通过HTTP/HTTPS协议获取对应的HTML⻚⾯
提取HTML⻚⾯有⽤的数据

5、为什么要选择Python做爬虫？

代码简介，开发效率⾼，⽀持的模块多，HTTP请求和HTML解析的模块丰富。
调⽤其他接⼝也⾮常⽅便。

6、通用爬虫和聚焦爬虫

根据使用场景，网络爬虫可分为通用爬虫和聚焦爬虫。

1、通用爬虫和聚焦爬虫工作流程

（1）通用爬虫：
通用爬虫的工作流程
（2）聚焦爬虫：

2、通用爬虫的的介绍

通⽤网络爬虫是捜索引擎抓取系统（Baidu、Google、Yahoo等）的重要组成部分。主要⽬的是将互联⽹上的⽹⻚下载到本地，形成⼀个互联⽹内容的镜像备份。
通⽤搜索引擎（Search Engine）⼯作原理
通⽤⽹络爬虫从互联⽹中搜集⽹⻚，采集信息，这些⽹⻚信息⽤于为搜索引擎建⽴索引从⽽提供⽀持，它决定着整个引擎系统的内容是否丰富，信息是否即时，因此其性能的优劣直接影响着搜索引擎的效果。

第一步：抓取网页

搜索引擎⽹络爬⾍的基本⼯作流程如下：

⾸先选取⼀部分的种⼦URL，将这些URL放⼊待抓取URL队列；
取出待抓取URL，解析DNS得到主机的IP，并将URL对应的⽹⻚下载下来，存储进已下载⽹⻚库中，并且将这些URL放进已抓取URL队列。
分析已抓取URL队列中的URL，分析其中的其他URL，并且将URL放⼊待抓取URL队列，从⽽进⼊下⼀个循环…
（1）搜索引擎如何获取⼀个新网站的URL：
新⽹站向搜索引擎主动提交⽹址；
在其他⽹站上设置新⽹站外链（尽可能处于搜索引擎爬⾍爬取范围）
搜索引擎和DNS解析服务商(如DNSPod等）合作，新⽹站域名将被迅速抓取。
（2）Robots协议
Robots协议（也叫爬⾍协议、机器⼈协议等），全称是“⽹络爬⾍排除标准”（Robots Exclusion Protocol），⽹站通过Robots协议告诉搜索引擎哪些⻚⾯可以抓取，哪些⻚⾯不能抓取，例如：
淘宝⽹：https://www.taobao.com/robots.txt
腾讯⽹： http://www.qq.com/robots.txt

第二步：数据存储

搜索引擎通过爬⾍爬取到的网页，将数据存入原始⻚⾯数据库。其中的⻚⾯数据与⽤户浏览器得到的HTML是完全⼀样的。
搜索引擎蜘蛛在抓取⻚⾯时，也做⼀定的重复内容检测，⼀旦遇到访问权重很低的⽹站上有⼤量抄袭、采集或者复制的内容，很可能就不再爬⾏。

第三步：预处理

搜索引擎将爬⾍抓取回来的⻚⾯，进⾏各种步骤的预处理。

提取⽂字
中⽂分词
消除噪⾳（⽐如版权声明⽂字、导航条、⼴告等……）
索引处理
链接关系计算
特殊⽂件处理

第四步：提供检索服务，⽹站排名

搜索引擎在对信息进⾏组织和处理后，为⽤户提供关键字检索服务，将⽤户检索相关的信息展示给⽤户。
同时会根据⻚⾯的PageRank值（链接的访问量排名）来进⾏⽹站排名，这样Rank值⾼的⽹站在搜索结果中会排名较前，当然也可以直接使⽤ Money 购买搜索引擎⽹站排名，简单粗暴。

3、聚焦爬虫的介绍

聚焦爬⾍，是"⾯向特定主题需求"的⼀种⽹络爬⾍程序，它与通⽤搜索引擎爬⾍的区别在于：聚焦爬⾍在实施⽹⻚抓取时会对内容进⾏处理筛选，尽量保证只抓取与需求相关的⽹⻚信息。

什么是网络爬虫以及通用爬虫和聚焦爬虫的介绍相关推荐

网络爬虫--1.通用爬虫和聚焦爬虫
文章目录一.前言二.通用爬虫 1.工作原理 2.通用爬虫的局限性三.聚焦爬虫一.前言根据使用场景,网络爬虫可分为通用爬虫和聚焦爬虫两种. 其中通用网络爬虫是捜索引擎抓取系统(Baid ...
python通用爬虫和聚焦爬虫的区别
通用爬虫和聚焦爬虫根据使用场景,网络爬虫可分为通用爬虫和聚焦爬虫两种. 通用爬虫通用网络爬虫是捜索引擎抓取系统(Baidu.Google.Yahoo等)的重要组成部分.主要目的是将互联 ...
【爬虫学习笔记day03】1.1. (了解)通用爬虫和聚焦爬虫+通用搜索引擎（Search Engine）工作原理+聚焦爬虫
文章目录 1.1. (了解)通用爬虫和聚焦爬虫通用爬虫和聚焦爬虫通用爬虫通用搜索引擎(Search Engine)工作原理第一步:抓取网页搜索引擎如何获取一个新网站的URL: 1. 新网站向 ...
物联网卡网络是全国通用的吗?
物联网卡相信大家都不陌生,随着物联网技术的不断运用,物联网卡也开始出现在我们的面前,物联网卡是什么?物联网卡网络是全国通过的吗?这些问题也成为很多人关注并咨询的焦点,接下来,小编针对物联网卡的常见问题 ...
爬虫分类——通用网络爬虫、聚焦网络爬虫、增量式网络爬虫、深层网络爬虫
爬虫分类网络爬虫按照系统结构和实现技术,大致可以分为以下几种类型:通用网络爬虫.聚焦网络爬虫.增量式网络爬虫.深层网络爬虫. 实际的网络爬虫系统通常是几种爬虫技术相结合实现的通用网络爬虫通用网络 ...
【通用技术】2个月精通Python爬虫——3大爬虫框架+6场实战+分布式爬虫，包教包会...
网络爬虫(又被称为网页蜘蛛,网络机器人),是一种按照一定的规则,自动的抓取信息的程序或者脚本. 网络爬虫是互联网上进行信息采集的通用手段,在互联网的各个专业方向上都是不可或缺的底层技术支撑.本课程从爬 ...
爬虫（一）：爬虫的基础知识 ---通用爬虫和聚焦爬虫，http和https协议，常见的响应状态码
一.爬虫的定义网络爬虫是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本. 二.爬虫可以解决的问题解决冷启动问题搜索引擎的根基. -通用爬虫帮助机器学习建立知识图谱制作各种比价软件三 ...
实际的网络爬虫系统通常是几种爬虫技术相结合实现的。
分类网络爬虫按照系统结构和实现技术,大致可以分为以下几种类型:通用网络爬虫(General Purpose Web Crawler).聚焦网络爬虫(Focused Web Crawler).增量式网 ...
聚焦爬虫与通用爬虫详解
根据使用场景,网络爬虫可分为通用爬虫和聚焦爬虫两种. 通用爬虫通用爬虫:搜索引擎用的爬虫系统.搜索引擎和web服务商提供的爬虫. 目标: 就是尽可能的:把互联网上的所有的网页下载下来,放到本 ...

什么是网络爬虫以及通用爬虫和聚焦爬虫的介绍

什么是网络爬虫