python多线程下载表情包

threading模块

简单使用

import threading,time
'''
想要学习Python？Python学习交流群：973783996满足你的需求，资料都已经上传群文件，可以自行下载！
'''
def coding():for x in range(3):print('正在写代码%s'%x)time.sleep(2)def drawing():for x in range(3):print('正在画画%s'%x)time.sleep(2)def main():t1 = threading.Thread(target=coding)t2 = threading.Thread(target=drawing)t1.start()t2.start()if __name__ == '__main__':main()

生产者和消费者

Lock模式的生产者和消费者

import threading
import random,timegMoney = 1000
gLock = threading.Lock()
gTotalTimes = 10
gTimes = 0class Producer(threading.Thread):def run(self):global gMoneyglobal gTimeswhile True:money = random.randint(100,1000)gLock.acquire()#只生产10次，超过就停止，必须把锁给释放掉，否则产生死锁if gTimes >= gTotalTimes:gLock.release()breakgMoney += moneyprint('%s生产了%d元钱,剩余%d元钱' % (threading.current_thread(), money, gMoney))#生产一次，次数加1，总共10次gTimes += 1gLock.release()time.sleep(0.5)class Consumer(threading.Thread):def run(self):global gMoneywhile True:money = random.randint(100,1000)gLock.acquire()if gMoney >= money:gMoney -= moneyprint('%s消费了%d元钱,剩余%d元钱' % (threading.current_thread(), money,gMoney))else:if gTimes >= gTotalTimes:gLock.release()breakgLock.release()time.sleep(0.5)def main():for x in range(5):t1 = Producer()t1.start()for x in range(2):t2 = Consumer()t2.start()if __name__ == '__main__':main()

下载表情包

网址：http://www.doutula.com/photo/list/?page=1

解析：xpath

不用多线程，速度相对会很慢

import requests
from lxml import etree
from urllib import request
import os
import re
'''
想要学习Python？Python学习交流群：973783996满足你的需求，资料都已经上传群文件，可以自行下载！
'''
def parse_page(url):headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.140 Safari/537.36','Referer': 'https://movie.douban.com/'}response = requests.get(url,headers=headers)text = response.texthtml = etree.HTML(text)imgs = html.xpath("//div[@class='page-content text-center']//img[@class!='gif']")for img in imgs:# print(etree.tostring(img))#图片地址img_url = img.get('data-original')#图片名字alt = img.get('alt')#替换掉名字里面的特殊字符alt = re.sub(r'[\?？\.，。！!\*]','',alt)#获取图片的后缀名（.gif .jpg）suffix = os.path.splitext(img_url)[1]#保存的时候完整的图片名字filename = alt + suffixrequest.urlretrieve(img_url,'C:/Users/Administrator/Desktop/images/'+filename)def main():for x in range(1,10):url = 'http://www.doutula.com/photo/list/?page=%d'%xparse_page(url)if __name__ == '__main__':main()

利用多线程

main()

定义两个队列，和创建多线程
page_queue()：存放每一页的url
img_queue()：存放每一页里面所有的表情的url

Producer()

从page_queue()队列中去每一页的url，直到队列为空则break
用xpath提取出每一页的所有图片的url
把每个图片的url和名字存放到img_queue()队列里面

Consumer()

从img_queue()队列中取出图片的url和名字
下载保存
直到page_queue()和img_queue()两个队列都为空则break

代码

import requests
from lxml import etree
from urllib import request
import os
import re
import threading
from queue import Queue
'''
想要学习Python？Python学习交流群：973783996满足你的需求，资料都已经上传群文件，可以自行下载！
'''
class Producer(threading.Thread):headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.140 Safari/537.36','Referer': 'https://movie.douban.com/'}def __init__(self, page_queue, img_queue, *args, **kwargs):super(Producer, self).__init__(*args, **kwargs)self.page_queue = page_queueself.img_queue = img_queuedef run(self):while True:if self.page_queue.empty():breakurl = self.page_queue.get()self.parse_page(url)def parse_page(self,url):response = requests.get(url,headers=self.headers)text = response.texthtml = etree.HTML(text)imgs = html.xpath("//div[@class='page-content text-center']//img[@class!='gif']")for img in imgs:# print(etree.tostring(img))#图片地址img_url = img.get('data-original')#图片名字alt = img.get('alt')#替换掉名字里面的特殊字符alt = re.sub(r'[\?？\.，。！!\*]','',alt)#获取图片的后缀名（.gif .jpg）suffix = os.path.splitext(img_url)[1]#保存的时候完整的图片名字filename = alt + suffixself.img_queue.put((img_url,filename))class Consumer(threading.Thread):def __init__(self,page_queue,img_queue,*args,**kwargs):super(Consumer, self).__init__(*args,**kwargs)self.page_queue = page_queueself.img_queue = img_queuedef run(self):while True:if self.img_queue.empty() and self.page_queue.empty():breakimg_url,filename = self.img_queue.get()request.urlretrieve(img_url, 'C:/Users/Administrator/Desktop/images/' + filename)print("已下载完一张图片")def main():page_queue = Queue(1000)img_queue = Queue(10000)for x in range(1,1758):url = 'http://www.doutula.com/photo/list/?page=%d'%xpage_queue.put(url)for x in range(10):t = Producer(page_queue,img_queue)t.start()for x in range(10):t = Consumer(page_queue,img_queue)t.start()if __name__ == '__main__':main()

结果：

python多线程下载表情包相关推荐

群里又会python的吗_自从会了Python在群里斗图就没输过，Python批量下载表情包！...
原标题:自从会了Python在群里斗图就没输过,Python批量下载表情包! 导语最近图慌,于是随便写了个表情包批量下载的脚本,没什么技术含量,纯娱乐性质. 让我们愉快地开始吧~ 开发工具 Pyth ...
python多线程爬表情包，斗图斗够瘾~
前言嗨喽!大家好,这里是魔王. 什么?群里又在斗图 (+_+)? 别动让我来(>人<:) 教你一招爬取海量表情包图片, 从此告别图慌 !!! 课题:python爬取海量表情包课程亮点 ...
python批量下载表情包（完整代码）
还在为斗图找不到合适的表情而烦恼吗?学会python,分分钟下载有趣图片,做斗图界的No.1. 首先,打开网站https://www.fabiaoqing.com/biaoqing/lists/pag ...
python做动态表情包下载_用 Python 开发一个【GIF表情包制作神器】
之前小帅b写过这样一篇教程然后,好多人表示:虽然存了很多表情包但似乎还不是很过瘾因为它不可以自己来定制我们可不可以根据一些表情素材然后自己制作专属表情包呢像这样本来小帅b想自己实现一个表情包制作器后 ...
python爬表情包_【从零开始写爬虫一】批量下载表情包
序打算写个关于node的爬虫菜鸟教程,接下来将带大家一步一步写一个表情包爬虫,从获取页面,解析表情包链接, 清洗脏数据,下载表情包到本地.开始之前你需要有对chrome调试工具和ES6有一定了解,包 ...
python爬取表情包，并下载到本地
python爬取表情包需求:爬取2页表情包,网址是:https://www.fabiaoqing.com/biaoqing 上代码 import requests # 数据请求模块 import p ...
python自动发表情包
Python 自动斗图小老弟,听说你喜欢斗图,来来来,我们来PK一下,谁的图少算谁输! 我一句话来几十张图,就问你怕不怕! 这个怎么实现呢,我们要分三步: 下载表情包到本地设计查询表情包自动根据 ...
Python自动生成表情包斗图再无对手！
作为一个数据分析师,应该信奉一句话----"一图胜千言".不过这里要说的并不是数据可视化,而是一款全民向的产品形态----表情包!!!! 表情包不仅仅是一种符号,更是一种文化:是促 ...
教你用Python爬取表情包网站下的全部表情图片
教你用Python爬取表情包网站下的全部表情图片又是我啦~~~ 最近上网的时候老看到有人用Python爬取表情包,心痒痒自己也整了一个. 使用到的扩展库:BeautifulSoup, request ...

python多线程下载表情包

threading模块

生产者和消费者

下载表情包

python多线程下载表情包相关推荐

最新文章

热门文章