循环爬取网页链接

基本原理：

爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件。
基本过程图：

重点：从访问的页面中抽取新的url链接

可以用正则表达式匹配链接<a href 标签

代码演示：

# coding=utf-8
import requests
import re
def spiderpage(url):kv = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) Chrome/57.0.2987.98 Safari/537.36 LBBROWSER'}r = requests.get(url, headers=kv,timeout=1)r.encoding = r.apparent_encodingpagetext = r.text# 正则表达式表示要爬取的是<a href="和"中的内容,"或'都可以,即当前页面下所有的链接url,返回列表pagelinks = re.findall(r'(?<=<a href=\").*?(?=\")|(?<=href=\').*?(?=\')', pagetext)return pagelinks
def url_filtrate(pagelinks):# 去除不是以要爬取网站开头的url,如跳转的广告等same_target_url = []for l in pagelinks:if re.findall(r'blog.csdn.net/\w+/article/details/\d+', l):# 根据对网页的分析添加筛选条件,过滤掉系统推荐的博文链接if re.findall(r'blockchain_lemon', l):pass# 过滤掉广告链接elif re.findall(r'passport', l):passelse:same_target_url.append(l)# 去除重复urlunrepect_url = []for l in same_target_url:if l not in unrepect_url:unrepect_url.append(l)return unrepect_url
class linkQuence:def __init__(self):# 已访问的url集合self.visited = []# 待访问的url集合self.unvisited = []# 获取访问过的url队列def getvisitedurl(self):return self.visited# 获取未访问的url队列def getunvisitedurl(self):return self.unvisited# 添加url到访问过得队列中def addvisitedurl(self, url):return self.visited.append(url)# 移除访问过得urldef removevisitedurl(self, url):return self.visited.remove(url)# 从未访问队列中取一个urldef unvisitedurldequence(self):try:return self.unvisited.pop()except:return None# 添加url到未访问的队列中def addunvisitedurl(self, url):if url != "" and url not in self.visited and url not in self.unvisited:return self.unvisited.insert(0, url)# 获得已访问的url数目def getvisitedurlount(self):return len(self.visited)# 获得未访问的url数目def getunvistedurlcount(self):return len(self.unvisited)# 判断未访问的url队列是否为空def unvisitedurlsempty(self):return len(self.unvisited) == 0
class Spider():def __init__(self, url):self.linkQuence = linkQuence()  # 将队列引入本类self.linkQuence.addunvisitedurl(url)  # 传入待爬取的url,即爬虫入口def crawler(self,urlcount):# 子页面过多,为测试方便加入循环控制子页面数量x = 1while x <= urlcount:# 若子页面不是很多,可以直接使用队列中的未访问列表非空作为循环条件# while not self.linkQuence.unvisitedurlsempty():if x > 1:print"第",x-1,"个url,开始爬"visitedurl = self.linkQuence.unvisitedurldequence()  # 从未访问列表中pop出一个urlif visitedurl is None or visitedurl == '':continueinitial_links = spiderpage(visitedurl)  # 爬出该url页面中所有的链接#right_links = url_filtrate(initial_links)  # 筛选出合格的链接self.linkQuence.addvisitedurl(visitedurl)  # 将该url放到访问过的url队列中for link in initial_links:  # 将筛选出的链接放到未访问队列中self.linkQuence.addunvisitedurl(link)x += 1print"终于爬完了,一共是",x-2,"个url"return self.linkQuence.visited
def writetofile(list):# 因为第一个爬取的页面为爬虫入口,非需要的博文网址,因此从[1]开始写入f=open("urls.txt","w")for row in list:f.write(row+'\n')f.close()
if __name__ == '__main__':url = "https://www.csdn.net/"spider = Spider(url)#传入要爬取的子链接数量52urllist = spider.crawler(52)writetofile(urllist)

提示：
这个爬虫代码专门为爬取csdn的链接
先访问csdn首页，然后
pagelinks = re.findall(r’(?<=<a href=").?(?=")|(?<=href=’).?(?=’)’, pagetext)
使用re正则表达式模块从页面中抽取链接，生成一个链接数组
需要注意的是代码中定义了 url_filtrate(pagelinks) 函数
该函数对链接数组中的链接进行过滤，使链接有确定的指向方式，避免因访问到登陆页面等而出错

python爬虫学习（循环爬取网页链接）相关推荐

Python爬虫学习笔记 -- 爬取糗事百科
Python爬虫学习笔记 -- 爬取糗事百科代码存放地址: https://github.com/xyls2011/python/tree/master/qiushibaike 爬取网址:https ...
Python爬虫学习之爬取淘宝搜索图片
Python爬虫学习之爬取淘宝搜索图片准备工作因为淘宝的反爬机制导致Scrapy不能使用,所以我这里是使用selenium来获取网页信息,并且通过lxml框架来提取信息. selenium.lxm ...
Python爬虫：Xpath爬取网页信息（附代码）
Python爬虫:Xpath爬取网页信息(附代码) 上一次分享了使用Python简单爬取网页信息的方法.但是仅仅对于单一网页的信息爬取一般无法满足我们的数据需求.对于一般的数据需求,我们通常需要从一个 ...
网络爬虫学习2 - 爬取网页的通用代码框架、HTTP协议、Requests库的各种方法
网络爬虫MOOC学习打卡 - 第二天文章目录网络爬虫MOOC学习打卡 - 第二天一.爬取网页的通用代码框架 1.理解requests库的异常 2.Respones类提供了一个方法 -- r.ra ...
为了部落来自艾泽拉斯勇士的python爬虫学习心得爬取大众点评上的各种美食数据并进行数据分析
为了希尔瓦娜斯第一个爬虫程序 csgo枪械数据先上代码基本思想问题1 问题2 爬取大众点评 URL分析第一个难题生成csv文件以及pandas库 matplotlib.pyplot库 K- ...
python爬虫scrapy框架爬取网页数据_Scrapy-Python
scrapy Scrapy:Python的爬虫框架实例Demo 抓取:汽车之家.瓜子.链家等数据信息版本+环境库 Python2.7 + Scrapy1.12 初窥Scrapy Scrapy是一 ...
python爬虫学习之爬取全国各省市县级城市邮政编码
实例需求:运用python语言在ip查询查ip 网站ip查询同ip网站查询 iP反查域名 iP查域名同ip域名网站爬取全国各个省市县级城市的邮政编码,并且保存在excel文件中实例环境:pyt ...
python爬虫学习之爬取超清唯美壁纸
简介壁纸的选择其实很大程度上能看出电脑主人的内心世界,有的人喜欢风景,有的人喜欢星空,有的人喜欢美女,有的人喜欢动物.然而,终究有一天你已经产生审美疲劳了,但你下定决定要换壁纸的时候,又发现网上的壁 ...
Python爬虫学习之爬取豆瓣音乐Top250存入Excel表格中
前言目标网站:https://music.douban.com/top250 任务: 爬取豆瓣音乐Top250的歌曲名爬取豆瓣音乐Top250的歌曲对应的表演者.发行时间和音乐流派(分别对应下图斜 ...
python爬虫学习一--爬取网络小说实例
最近疫情猖獗,长假憋在家里实在无聊,早上突然看了一篇python爬虫文章,当场决定试验一下,参照了一下别人的案例,自己各种踩坑捣鼓了好几个小时,终于成功最后把具体步骤和注意点分享给大家: 1.Pyth ...

python爬虫学习（循环爬取网页链接）

循环爬取网页链接

基本原理：

重点：从访问的页面中抽取新的url链接

代码演示：

python爬虫学习（循环爬取网页链接）相关推荐

最新文章

热门文章