通用爬虫实现的原理及过程

获取初始的URL。初始的URL地址可以人为地指定，也可以由用户指定的某个或某几个初始爬取网页决定。
根据初始的URL爬取页面并获得新的URL。获得初始的URL地址之后，先爬取当前URL地址中的网页信息，然后解析网页信息内容，将网页存储到原始数据库中，并且在当前获得的网页信息里发现新的URL地址，存放到一个URL队列里面。
从URL队列中读取新的URL，从而获得新的网页信息，同时在新网页中获取新的URL，并重复上述的爬取过程。
满足爬虫系统设置的停止条件时，停止爬取。在编写爬虫的时候，一般会设置相应的停止条件，爬虫则会在停止条件满足时停止爬取。如果没有设置停止条件，爬虫就会一直爬取下去，一直到无法获取新的URL地址为止。

（画的有点糙，但是意思到位）

还有一个是聚焦爬虫的实现原理，跟通用爬虫大致上都相同，只不过多了两个步骤：定义爬取目标和筛选过滤URL。

通用爬虫实现的原理及过程相关推荐

网络爬虫--1.通用爬虫和聚焦爬虫
文章目录一.前言二.通用爬虫 1.工作原理 2.通用爬虫的局限性三.聚焦爬虫一.前言根据使用场景,网络爬虫可分为通用爬虫和聚焦爬虫两种. 其中通用网络爬虫是捜索引擎抓取系统(Baid ...
Python爬虫（2.网络爬虫的实现原理及技术）
网络爬虫的实现原理及技术 1. 网络爬虫实现原理以两种爬虫为例,讲解网络爬虫的实现原理. 1) 通用网络爬虫图1 通用网络爬虫实现原理及过程见图1,通用网络爬虫的实现原理及过程可 ...
【爬虫学习笔记day03】1.1. (了解)通用爬虫和聚焦爬虫+通用搜索引擎（Search Engine）工作原理+聚焦爬虫
文章目录 1.1. (了解)通用爬虫和聚焦爬虫通用爬虫和聚焦爬虫通用爬虫通用搜索引擎(Search Engine)工作原理第一步:抓取网页搜索引擎如何获取一个新网站的URL: 1. 新网站向 ...
爬虫—01-爬虫原理与数据抓取
爬虫的更多用途 12306抢票网站上的头票短信轰炸关于Python网络爬虫,我们需要学习的有: Python基础语法学习(基础知识) 对HTML页面的内容抓取(数据抓取) 对HTML页面的数据提 ...
python通用爬虫和聚焦爬虫的区别
通用爬虫和聚焦爬虫根据使用场景,网络爬虫可分为通用爬虫和聚焦爬虫两种. 通用爬虫通用网络爬虫是捜索引擎抓取系统(Baidu.Google.Yahoo等)的重要组成部分.主要目的是将互联 ...
爬虫（一）：爬虫的基础知识 ---通用爬虫和聚焦爬虫，http和https协议，常见的响应状态码
一.爬虫的定义网络爬虫是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本. 二.爬虫可以解决的问题解决冷启动问题搜索引擎的根基. -通用爬虫帮助机器学习建立知识图谱制作各种比价软件三 ...
什么是网络爬虫以及通用爬虫和聚焦爬虫的介绍
什么是网络爬虫 1.为什么要学习爬虫技术? 2.爬虫的定义 3.爬虫的更多用途 4.爬虫怎么抓取网页上的数据? 1.网页三大特征: 2.爬虫的设计思路: 5.为什么要选择Python做爬虫? 6.通用 ...
Scrapy 通用爬虫爬取广西人才网数据记录（上，企业信息）
2019独角兽企业重金招聘Python工程师标准>>> 背景这一次的通用爬虫跟以往默认的spider不一样,它的爬取可以通过正则将范围扩大,而且它也不注重那么细的内容,能爬尽量爬. ...
聚焦爬虫与通用爬虫详解
根据使用场景,网络爬虫可分为通用爬虫和聚焦爬虫两种. 通用爬虫通用爬虫:搜索引擎用的爬虫系统.搜索引擎和web服务商提供的爬虫. 目标: 就是尽可能的:把互联网上的所有的网页下载下来,放到本 ...

通用爬虫实现的原理及过程

通用爬虫实现的原理及过程相关推荐

最新文章

热门文章