3行代码，Python数据预处理提速6倍

在 Python 中，我们可以找到原生的并行化运算指令。本文可以教你仅使用 3 行代码，大大加快数据预处理的速度。

Python 是机器学习领域内的首选编程语言，它易于使用，也有很多出色的库来帮助你更快处理数据。但当我们面临大量数据时，一些问题就会显现……

目前，大数据（Big Data）这个术语通常用于表示包含数十万数据点的数据集。在这样的尺度上，工作进程中加入任何额外的计算都需要时刻注意保持效率。在设计机器学习系统时，数据预处理非常重要——在这里，我们必须对所有数据点使用某种操作。

在默认情况下，Python 程序是单个进程，使用单 CPU 核心执行。而大多数当代机器学习硬件都至少搭载了双核处理器。这意味着如果没有进行优化，在数据预处理的时候会出现「一核有难九核围观」的情况——超过 50% 的算力都会被浪费。在当前四核处理器（英特尔酷睿 i5）和 6 核处理器（英特尔酷睿 i7）大行其道的时候，这种情况会变得更加明显。

幸运的是，Python 库中内建了一些隐藏的特性，可以让我们充分利用所有 CPU 核心的能力。通过使用 Python 的 concurrent.futures 模块，我们只需要 3 行代码就可以让一个普通的程序转换成适用于多核处理器并行处理的程序。

标准方法

让我们举一个简单的例子，在单个文件夹中有一个图片数据集，其中有数万张图片。在这里，我们决定使用 1000 张。我们希望在所有图片被传递到深度神经网络之前将其调整为 600×600 像素分辨率的形式。以下是你经常会在 GitHub 上看到的标准 Python 代码：

import glob
import os
import cv2### Loop through all jpg files in the current folder### Resize each one to size 600x600for image_filename in glob.glob("*.jpg"):### Read in the image dataimg = cv2.imread(image_filename)img = cv2.resize(img, (600, 600))

上面的程序遵循你在处理数据脚本时经常看到的简单模式：

1. 首先从需要处理内容的文件（或其他数据）列表开始。

2. 使用 for 循环逐个处理每个数据，然后在每个循环迭代上运行预处理。

让我们在一个包含 1000 个 jpeg 文件的文件夹上测试这个程序，看看运行它需要多久：

time python standard_res_conversion.py

在我的酷睿 i7-8700k 6 核 CPU 上，运行时间为 7.9864 秒！在这样的高端 CPU 上，这种速度看起来是难以让人接受的，看看我们能做点什么。

更快的方法

为了便于理解并行化的提升，假设我们需要执行相同的任务，比如将 1000 个钉子钉入木头，假如钉入一个需要一秒，一个人就需要 1000 秒来完成任务。四个人组队就只需要 250 秒。

在我们这个包含 1000 个图像的例子中，可以让 Python 做类似的工作：

将 jpeg 文件列表分成 4 个小组；域名被墙
运行 Python 解释器中的 4 个独立实例；
让 Python 的每个实例处理 4 个数据小组中的一个；
结合四个处理过程得到的结果得出最终结果列表。

这一方法的重点在于，Python 帮我们处理了所有棘手的工作。我们只需告诉它我们想要运行哪个函数，要用多少 Python 实例，剩下的就交给它了！只需改变三行代码。实例：

import glob
import os
import cv2
import concurrent.futuresdef load_and_resize(image_filename):img = cv2.imread(image_filename)img = cv2.resize(img, (600, 600))### Create a pool of processes. By default, one is created for each CPU in your machine.
with concurrent.futures.ProcessPoolExecutor() as executor:image_files = glob.glob("*.jpg")### Process the list of files, but split the work across the process pool to use all CPUs### Loop through all jpg files in the current folderexecutor.map(load_and_resize, image_files)

1	`with concurrent.futures.ProcessPoolExecutor() as executor:`

你的 CPU 核越多，启动的 Python 进程越多，我的 CPU 有 6 个核。实际处理代码如下：

1	`executor.map(load_and_resize, image_files)`

「executor.map()」将你想要运行的函数和列表作为输入，列表中的每个元素都是我们函数的单个输入。由于我们有 6 个核，我们将同时处理该列表中的 6 个项目！

如果再次用以下代码运行我们的程序：

1	`time python fast_res_conversion.py`

我们可以将运行时间降到 1.14265 秒，速度提升了近 6 倍！

注意：在生成更多 Python 进程及在它们之间整理数据时会有一些开销，所以速度提升并不总是这么明显。但是总的来说，速度提升还是非常可观的。

它总是那么快吗？

如果你有一个数据列表要处理，而且在每个数据点上执行相似的运算，那么使用 Python 并行池是一个很好的选择。但有时这不是最佳解决方案。并行池处理的数据不会在任何可预测的顺序中进行处理。如果你对处理后的结果有特殊顺序要求，那么这个方法可能不适合你。

你处理的数据也必须是 Python 可以「炮制」的类型。所幸这些指定类别都很常见。以下来自 Python 官方文件：

None, True, 及 False
整数、浮点数、复数
字符串、字节、字节数组
只包含可挑选对象的元组、列表、集合和字典
在模块顶层定义的函数（使用 def ，而不是 lambda ）
在模块顶层定义的内置函数
在模块顶层定义的类
这种类的实例，其 __dict__ 或调用__getstate__() 的结果是可选择的（参见「Pickling Class Instances」一节）。

3行代码，Python数据预处理提速6倍相关推荐

3行代码，Python数据预处理提速6倍！（附链接）
来源:新智元本文约2600字,建议阅读8分钟. 本文介绍了仅需3行代码,将Python数据处理速度提升2~6倍的简单方法. Python是所有机器学习的首选编程语言.它易于使用,并拥有许多很棒的库, ...
[Python] 数据预处理(缺失值、异常值、重复值) [相关方法参数说明、代码示例、相关概念]
前言系列文章目录 [Python]目录视频及资料和课件链接:https://pan.baidu.com/s/1LCv_qyWslwB-MYw56fjbDg?pwd=1234 提取码:1234 文 ...
python数据处理实例-Python数据预处理实例详解
Python----数据预处理代码实例本文实例为大家分享了Python数据预处理的具体代码,供大家参考,具体内容如下 1.导入标准库 import numpy as np import matplo ...
Python数据预处理——格式转换及抽取数据文本信息
课程地址:https://www.imooc.com/learn/1105 1. 数据预处理简介 1.1 什么是数据预处理数据预处理简单来说就是:将原始数据装进一个预处理的黑匣子之后,产生出高质量数 ...
Python数据预处理：机器学习、人工智能通用技术（1）
1 什么是数据预处理数据预处理简而言之就是将原始数据装进一个预处理的黑匣子之后,产生出高质量数据用来适应相关技术或者算法模型.为了大家更明确的了解数据预处理,我们举个新闻分类的例子: 将原始的数据直 ...
python数据预处理代码_Python中数据预处理（代码）
本篇文章给大家带来的内容是关于Python中数据预处理(代码),有一定的参考价值,有需要的朋友可以参考一下,希望对你有所帮助.1.导入标准库import numpy as np import matp ...
python用excel数据做热力图_7行代码 Python热力图可视化分析缺失数据处理-Python 实用宝典...
Python热力图寻找缺失数据你有没有遇到一种情况,处理一张很大的csv表格的时候很难找到表格中每一列的缺失数据,或者说处理速度非常慢 ?当然如果你的Excel水平非常高,这个可能不会成为你的问题, ...
python数据预处理的代码_【Python基础系列】常见的数据预处理方法（附代码）
↑↑↑点击上方蓝字,回复资料,嘿嘿,10个G的惊喜本文简单介绍python中一些常见的数据预处理,包括数据加载.缺失值处理.异常值处理.描述性变量转换为数值型.训练集测试集划分.数据规范化. 1. ...
python数据预处理重复行统计_Python数据分析之数据预处理（数据清洗、数据合并、数据重塑、数据转换）学习笔记...
1. 数据清洗 1.1 空值和缺失值的处理空值一般表示数据未知.不适用或将在以后添加数据.缺失值是指数据集中某个或某些属性的值是不完整的. 一般空值使用None表示,缺失值使用NaN表示 1.1 ...

3行代码，Python数据预处理提速6倍

3行代码，Python数据预处理提速6倍相关推荐

最新文章

热门文章