Python多线程下载网络URL图片的方法

采用多线程的方法，通过URL地址，下载资源图片

GitHub地址：https://github.com/PanJinquan/python-learning-notes/blob/master/modules/multiThread/download_image.py

实现源码：

# -*-coding: utf-8 -*-
"""@Project: python-learning-notes@File   : download_image.py@Author : panjq@E-mail : pan_jinquan@163.com@Date   : 2019-06-06 15:51:05
"""import time
from multiprocessing.pool import ThreadPool
import requests
import os
import PIL.Image as Image
from io import BytesIO
import cv2
import numpy as npdef download_image(url, our_dir):'''根据url下载图片:param url::return: 返回保存的图片途径'''basename = os.path.basename(url)try:res = requests.get(url)if res.status_code == 200:print("download image successfully:{}".format(url))filename = os.path.join(our_dir, basename)with open(filename, "wb") as f:content = res.content# 使用Image解码为图片# image = Image.open(BytesIO(content))# image.show()# 使用opencv解码为图片content = np.asarray(bytearray(content), dtype="uint8")# image = cv2.imdecode(content, cv2.IMREAD_COLOR)# cv2.imshow("Image", image)# cv2.waitKey(1000)# f.write(content)# time.sleep(2)return filenameexcept Exception as e:print(e)return Noneprint("download image failed:{}".format(url))return Nonedef download_image_thread(url_list, our_dir, num_processes, remove_bad=False, Async=True):'''多线程下载图片:param url_list: image url list:param our_dir:  保存图片的路径:param num_processes: 开启线程个数:param remove_bad: 是否去除下载失败的数据:param Async:是否异步:return: 返回图片的存储地址列表'''# 开启多线程if not os.path.exists(our_dir):os.makedirs(our_dir)pool = ThreadPool(processes=num_processes)thread_list = []for image_url in url_list:if Async:out = pool.apply_async(func=download_image, args=(image_url, our_dir))  # 异步else:out = pool.apply(func=download_image, args=(image_url, our_dir))  # 同步thread_list.append(out)pool.close()pool.join()# 获取输出结果image_list = []if Async:for p in thread_list:image = p.get()  # get会阻塞image_list.append(image)else:image_list = thread_listif remove_bad:image_list = [i for i in image_list if i is not None]return image_listif __name__ == "__main__":our_dir = "./image"url_list = ["https://farm3.staticflickr.com/2334/1828778894_271415878a_o.jpg","https://farm4.staticflickr.com/3149/2355285447_290193393a_o.jpg","https://farm3.staticflickr.com/2090/1792526652_8f37410561_o.jpg","https://farm3.staticflickr.com/2099/1791684639_044827f860_o.jpg"]startTime = time.time()image_list = download_image_thread(url_list, our_dir=our_dir, num_processes=4, remove_bad=True, Async=True)endTime = time.time()consumeTime = endTime - startTimeprint("程序运行时间：" + str(consumeTime) + " 秒")print(image_list)

Python多线程下载网络URL图片的方法相关推荐

python多线程下载小姐姐图片
python多线程下载小姐姐图片闲谈思路实现过程单线程实现代码功能问题描述多线程处理办法完成效果闲谈今日闲来无事,翻看博客,看到一篇关于python自动下载图片的文章,就萌生了也写一 ...
使用python多线程下载网络小说并结合calibre制作电子书
之前的教程里有写过python爬取小说的代码,但如果小说字数很多,爬起来会比较耗时.此时需要结合多线程来加快爬取速度. 代码如下: import requests from lxml import e ...
python多线程下载大文件_Python threading多线程断点下载文件的方法
这是玩蛇网一篇关于Python多线程下载文件方法的代码实例.文中应用到的python模块和方法有httplib.Python urllib2.Python threading多线程模块.python ...
Python 多线程下载图片
多线程下载图片参考链接: Python标准库-urllib和urllib3 urllib实战2–urllib基础urlretrieve().urlcleanup().info().getcode() ...
[工具库]JFileDownloader工具类——多线程下载网络文件，并保存在本地
本人大四即将毕业的准程序员(JavaSE.JavaEE.android等)一枚,小项目也做过一点,于是乎一时兴起就写了一些工具. 我会在本博客中陆续发布一些平时可能会用到的工具. 代码质量可能不是很好 ...
python下载方法-python实现下载文件的三种方法_python
本篇文章主要介绍了python实现下载文件的三种方法,最常用的方法就是通过Http利用urllib或者urllib2模块还有requests,有兴趣的可以了解一下. Python开发中时长遇到要下载文 ...
python下载的文件放在哪里的-python实现下载文件的三种方法
Python开发中时长遇到要下载文件的情况,最常用的方法就是通过Http利用urllib或者urllib2模块. 当然你也可以利用ftplib从ftp站点下载文件.此外Python还提供了另外一种方法 ...
python 下载文件-python实现下载文件的三种方法_python
本篇文章主要介绍了python实现下载文件的三种方法,最常用的方法就是通过Http利用urllib或者urllib2模块还有requests,有兴趣的可以了解一下. Python开发中时长遇到要下载文 ...
将网络url图片链接转换为File类型对象
将网络url图片链接转换为File类型对象 public static File convertFileByUrl(String url) {File file = null;URL urlfile; ...

Python多线程下载网络URL图片的方法

Python多线程下载网络URL图片的方法

Python多线程下载网络URL图片的方法相关推荐

最新文章

热门文章