类与队列的简单实战爬虫

学习记录：~~~~

代码：

"""
2022年CSDN:抄代码抄错的小牛马
"""
import requests
import queue
from lxml import etree
import threading
import urllib.request
import osclass Producer(threading.Thread):headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.87 Safari/537.36',}def __init__(self, q1, q2, *args, **kwargs):super(Producer, self).__init__(*args, **kwargs)self.q1 = q1self.q2 = q2def run(self):while True:if self.q1.empty():breakurl = self.q1.get()self.parse_page(url)# print(url)def parse_page(self, url):resp = requests.get(url=url, headers=self.headers).texttree = etree.HTML(resp)div_list = tree.xpath('//div[@class="page-content"]/a')[1:]for div in div_list:img_url = 'https://dou.yuanmazg.com/' + div.xpath('./img/@data-original')[0]houzhui = img_url.split(".")[-1]img_name = div.xpath('./img/@alt')[0]end_name = img_name + '.' + houzhuiself.q2.put((img_url, end_name))# print(img_url,end_name)class Consumer(threading.Thread):# 创建一个文件夹os.makedirs("表情包下载", exist_ok=True)  # TRUE，不存在就创建，存在就不创建。flase，不存在也不创建。def __init__(self, q1, q2, *args, **kwargs):super(Consumer, self).__init__(*args, **kwargs)self.q1 = q1self.q2 = q2def run(self):while True:if self.q1.empty() and self.q2.empty():breakimg_url, end_name = self.q2.get()# print(img_url)urllib.request.urlretrieve(url=img_url, filename='./表情包下载/%s' % end_name)  # url= url ,文件名def main():q1 = queue.Queue(1000)  # 首页url的最大容量q2 = queue.Queue(1000)  # 每个图片的url的最大容量urls = []star_page = int(input('请输入起始页码：'))end_page = int(input('请输入结束页码：'))for page in range(star_page,end_page+1):url = f'https://dou.yuanmazg.com/doutu?page={page}'urls.append(url)for i in urls:q1.put(i)# print(q1.get())# for x in range(2):#     t1 = Producer(q1, q2)  # 实例化对象 Producer#     t1.start()# for x in range(3):#     t2 = Consumer(q1, q2)  # 实例化对象 Consumer#     t2.start()t1 = Producer(q1, q2)  # 实例化对象 Producert1.start()t2 = Consumer(q1, q2)  # 实例化对象 Consumert2.start()if __name__ == '__main__':main()

运行看看

拜~~~

类与队列的简单实战爬虫相关推荐

用python写一个简单的爬虫_Python实现简易Web爬虫详解
编辑推荐: 本文主要介绍了Python实现简易Web爬虫详解,希望对大家有帮助. 本文来自于脚本之家 ,由火龙果软件Alice编辑,推荐. 简介: 网络爬虫(又被称为网页蜘蛛),网络机器人,是一种按照 ...
纯手工打造简单分布式爬虫(Python)
https://www.cnblogs.com/qiyeboy/p/7016540.html 本章讲的依旧是实战项目,实战内容是打造分布式爬虫,这对初学者来说,是一个不小的挑战,也是一次有意义的尝试. ...
python最简单的爬虫代码,python小实例一简单爬虫
python新手求助关于爬虫的简单例子 #coding=utf-8from bs4 import BeautifulSoupwith open('', 'r') as file: fcontent ...
rabbitmq几种工作模式_RabbitMQ六种队列模式-简单队列模式
在官网的教程中,描述了如上六类工作队列模式: 简单队列模式:最简单的工作队列,其中一个消息生产者,一个消息消费者,一个队列.也称为点对点模式. 工作模式:一个消息生产者,一个交换器,一个消息队列,多个 ...
python爬虫简单实例-Python 利用Python编写简单网络爬虫实例3
利用Python编写简单网络爬虫实例3 by:授客 QQ:1033553122 实验环境 python版本:3.3.5(2.7下报错实验目的获取目标网站"http://bbs.51tes ...
Nancy简单实战之NancyMusicStore(二)：打造首页
原文:Nancy简单实战之NancyMusicStore(二):打造首页前言继上一篇搭建好项目之后,我们在这一篇中将把我们NancyMusicStore的首页打造出来. 布局开始首页之前,我们要 ...
Java培训教程之使用Jsoup实现简单的爬虫技术
1.Jsoup简述 Java中支持的爬虫框架有很多,比如WebMagic.Spider.Jsoup等.今天我们使用Jsoup来实现一个简单的爬虫程序. Jsoup拥有十分方便的api来处理html文档 ...
Nancy简单实战之NancyMusicStore(四)：实现购物车
原文:Nancy简单实战之NancyMusicStore(四):实现购物车前言上一篇,我们完成了商品的详情和商品的管理,这一篇我们来完成最后的一个购物车功能. 购物车,不外乎这几个功能:添加商品到 ...
RabbitMQ六种队列模式-简单队列模式
前言 RabbitMQ六种队列模式-简单队列 [本文] RabbitMQ六种队列模式-工作队列 RabbitMQ六种队列模式-发布订阅 RabbitMQ六种队列模式-路由模式 RabbitMQ六种队列 ...

类与队列的简单实战爬虫

类与队列的简单实战爬虫相关推荐

最新文章

热门文章