python创建多线程_初学者看过来：Python中多线程和多处理的指南

使用Python分析数据，如果使用了正确的数据结构和算法，有时可以大量提高程序的速度。实现此目的的一种方法是使用Muiltithreading(多线程)或Multiprocessing(多重处理)。

在这篇文章中，我们不会详细讨论多线程或多处理的内部原理。相反，我们举一个例子，编写一个小的Python

脚本从Unsplash下载图像。我们将从一次下载一个图像的版本开始。接下来，我们使用线程来提高执行速度。

Python中多线程和多处理的初学者指南

多线程

简单地说，线程允许您并行地运行程序。花费大量时间等待外部事件的任务通常适合线程化。它们也称为I/O Bound任务例如从文件中读写，网络操作或使用API在线下载。让我们来看一个示例，它展示了使用线程的好处。

1. 没有线程

在本例中，我们希望通过顺序运行程序来查看从Unsplash API下载15张图像需要多长时间：

import requests

import time

img_urls = [

'https://images.unsplash.com/photo-1516117172878-fd2c41f4a759',

'https://images.unsplash.com/photo-1532009324734-20a7a5813719',

'https://images.unsplash.com/photo-1524429656589-6633a470097c',

'https://images.unsplash.com/photo-1530224264768-7ff8c1789d79',

'https://images.unsplash.com/photo-1564135624576-c5c88640f235',

'https://images.unsplash.com/photo-1541698444083-023c97d3f4b6',

'https://images.unsplash.com/photo-1522364723953-452d3431c267',

'https://images.unsplash.com/photo-1513938709626-033611b8cc03',

'https://images.unsplash.com/photo-1507143550189-fed454f93097',

'https://images.unsplash.com/photo-1493976040374-85c8e12f0c0e',

'https://images.unsplash.com/photo-1504198453319-5ce911bafcde',

'https://images.unsplash.com/photo-1530122037265-a5f1f91d3b99',

'https://images.unsplash.com/photo-1516972810927-80185027ca84',

'https://images.unsplash.com/photo-1550439062-609e1531270e',

'https://images.unsplash.com/photo-1549692520-acc6669e2f0c'

]

start = time.perf_counter() #start timer

for img_url in img_urls:

img_name = img_url.split('/')[3] #get image name from url

img_bytes = requests.get(img_url).content

with open(img_name, 'wb') as img_file:

img_file.write(img_bytes) #save image to disk

finish = time.perf_counter() #end timer

print(f"Finished in {round(finish-start,2)} seconds")

#results

Finished in 23.101926751 seconds

一共用时23秒。

2. 多线程

让我们看看Pyhton中的线程模块如何显著地改进我们的程序执行：

import time

from concurrent.futures import ThreadPoolExecutor

def download_images(url):

img_name = img_url.split('/')[3]

img_bytes = requests.get(img_url).content

with open(img_name, 'wb') as img_file:

img_file.write(img_bytes)

print(f"{img_name} was downloaded")

start = time.perf_counter() #start timer

with ThreadPoolExecutor() as executor:

results = executor.map(download_images,img_urls) #this is Similar to map(func, *iterables)

finish = time.perf_counter() #end timer

print(f"Finished in {round(finish-start,2)} seconds")

#results

Finished in 5.544147536 seconds

我们可以看到，与不使用线程代码相比，使用线程代码可以显著提高速度。从23秒到5秒。

对于本例，请注意在创建线程时存在开销，因此将线程用于多个API调用是有意义的，而不仅仅是单个调用。

此外，对于密集的计算，如数据处理，图像处理多处理比线程执行得更好。

python创建多线程_初学者看过来：Python中多线程和多处理的指南相关推荐

python创建线程_多种方法实现 python 线程池
最近在做一个爬虫相关的项目,单线程的整站爬虫,耗时真的不是一般的巨大,运行一次也是心累,,,所以,要想实现整站爬虫,多线程是不可避免的,那么python多线程又应该怎样实现呢?这里主要要几个问题(关于 ...
python内容审核_我们看下Python黄图批量鉴别审核（多线程版）！学习学习
前言最近写了一款微信小程序需要用到图片审核,人工审核是不可能的人工审核的太费精力了,所以我就写了一个多线程批量识别脚本来处理,主要是调用百度AI的接口,这里我是付费了也不贵审核一条1分钱不到,再说我 ...
python创建变量_【转载】 Python动态生成变量
用Python循环创建多个变量, 如创建 a1= .a2= .a3= .a4= .a5= 或 self.a1= .self.a2= . self.a3= 一. 可以通过python的内置函数local ...
python编程基础_月隐学python第2课
python编程基础_月隐学python第2课学习目标掌握变量的输入和输出掌握数据类型的基本概念掌握算数运算 1.变量的输入和输出 1.1 变量输入使用input输入 input用于输入数据 ...
使用python学线性代数_二项式过程| 使用Python的线性代数
使用python学线性代数 When we flip a coin, there are two possible outcomes as head or tail. Each outcome has ...
查看Python的版本_查看当前安装Python的版本
一.查看Python的版本_查看当前安装Python的版本具体方法: 首先按[win+r]组合键打开运行: 然后输入cmd,点击[确定]: 最后执行[python --version]命令即可. 特 ...
python爬网页数据用什么_初学者如何用“python爬虫”技术抓取网页数据？
原标题:初学者如何用"python爬虫"技术抓取网页数据? 在当今社会,互联网上充斥着许多有用的数据.我们只需要耐心观察并添加一些技术手段即可获得大量有价值的数据.而这里的&quo ...
python适用场景_你真的了解Python吗？什么场景使用多线程，什么场景使用多进程？...
引言涉及并发的场景,大家想到使用多线程或多进程解决并发问题; 一般情况下,解决多并发场景问题,多数语言采用多线程编程模式(线程是轻量级的进程,共用一份进程空间). 也同样适用于Python多并发处理 ...
python 创建工具包_使用Python工具建立网站
python 创建工具包并非每个网站都是博客,博客的主要功能是帖子列表,每个帖子都有特定的时间戳,以指示其"新鲜度". 有时,您只想要一个网站 . 也许您是一名业余(或专业!)厨 ...

python创建多线程_初学者看过来：Python中多线程和多处理的指南

python创建多线程_初学者看过来：Python中多线程和多处理的指南相关推荐

最新文章

热门文章