Python初级爬虫（利用多任务协程爬取虎牙MM图片）

Python多任务协程下载虎牙直播MM图片

# coding = utf-8
import re
import gevent
from gevent import monkey, pool
import time, random
import urllib.requestmonkey.patch_all()def downloader_img(img_url, img_name):"""下载图片"""req = urllib.request.urlopen(img_url)img_content = req.read()# 下载图片保存with open(r"/home/python/Desktop/01_Python基础/day03/正则表达式/photo/mm%s" % img_name, "wb") as f:f.write(img_content)time.sleep(random.random())def main():p1 = pool.Pool(10)  # 加入协程# 读取文件locals_addr = r"/home/python/Desktop/01_Python基础/day03/正则表达式/1.txt"url_txt = open(locals_addr, "r", encoding=" utf-8")url_content = url_txt.read()jpg_lists = re.findall(r"https://.*?\.jpg", url_content)  # 正则匹配网页的有效地址num = 0list1 = []  # 定义一个列表用来存网址# 遍历图片列表for j in jpg_lists:list1.append(gevent.spawn(downloader_img, j, "%d.jpg" % num))num += 1gevent.joinall(list1)if __name__ == '__main__':main()

方法
主函数
效果

Python初级爬虫（利用多任务协程爬取虎牙MM图片）相关推荐

python从网址爬图片协程_Python爬虫多任务协程爬取虎牙MM图片
查看: 4420|回复: 241 [作品展示] Python爬虫多任务协程爬取虎牙MM图片电梯直达发表于 2019-4-17 21:35:47 | 只看该作者 |倒序浏览 |阅读模式马上注册,结 ...
Python爬虫利用18行代码爬取虎牙上百张小姐姐图片
Python爬虫利用18行代码爬取虎牙上百张小姐姐图片下面开始上代码需要用到的库 import request #页面请求 import time #用于时间延迟 import re #正则表达式 ...
Python爬虫——aiohttp异步协程爬取同程旅行酒店评论
大家好!我是霖hero Python并发编程有三种方式:多线程(Threading).多进程(Process).协程(Coroutine),使用并发编程会大大提高程序的效率,今天我们将学习如何选择多线 ...
python协程爬取斗鱼美女图片
分析网站寻找需要的网址用谷歌浏览器摁F12打开开发者工具,然后打开斗鱼颜值分类的页面,如图: 在里面的请求中,最后发现它是以ajax加载的数据,数据格式为json,如图: 圈住的部分是我们需要的数据 ...
Python爬虫项目实例——多协程爬取【薄荷网】的食物热量
爬虫网站:http://www.boohee.com/food/group 爬的信息:食物的名称及热量代码: import gevent from gevent.queue import Queue ...
利用协程爬取m3u8视频
利用协程爬取m3u8视频在进行了爬虫的相关学习之后,自己尝试爬取了一些视频,但动辄ts文件就几百个,单线程伤不起那时间,一个一个等实在太慢了,想利用多线程,查看相关资料,又说python是假的多 ...
Python分别用单线程，多线程，异步协程爬取一部小说，最快仅需要5s
文章目录单线程爬取多线程爬取异步协程爬取本文运用了三种方式爬取一整部小说,分别运用了单线程爬取,多线程爬取和异步协程爬取. 小说网址:` http://www.doupo321.com/dou ...
送书 | aiohttp异步协程爬取同程旅行酒店评论并作词云图
大家好!我是啃书君! Python并发编程有三种方式:多线程(Threading).多进程(Process).协程(Coroutine),使用并发编程会大大提高程序的效率,今天我们将学习如何选择多线程 ...
Python新手爬虫训练小项目《爬取彼岸图网》（超详细讲解版）
Python新手爬虫训练小项目<爬取彼岸图网>(超详细讲解版) 这是我的第一篇文章,作为一名新手爬虫,这个算是我这几天来的努力成果,虽然代码寥寥几行但花费了大半天,新手上路还是不能只看视频 ...

Python初级爬虫（利用多任务协程爬取虎牙MM图片）

Python初级爬虫（利用多任务协程爬取虎牙MM图片）相关推荐

最新文章

热门文章