Python是机器学习中的首选编程语言。它很容易使用，并且有许多优秀的库来帮助您更快地处理数据。但是，当我们面对大量的数据时，会出现一些问题。

目前，术语“大数据”经常用来表示包含成百上千个数据点的数据集。在这样的规模下，向工作过程中添加任何额外的计算需要不断关注效率。在设计机器学习系统时，数据预处理非常重要——在这种情况下，我们必须对所有数据点使用某种操作。

默认情况下，Python程序是用单个CPU内核执行的单个进程。大多数现代机器学习硬件至少配备了双核处理器。这意味着，如果不对其进行优化，则在对数据进行预处理时，将遇到“单核、九核”的情况——将浪费50%以上的计算。当四核处理器（Intel Core i5）和六核处理器（Intel Core i7）盛行时，这一点将变得更加明显。

幸运的是，Python库内置了一些隐藏的特性，这些特性允许我们充分利用所有CPU核心能力。使用Python的并发。期货模块，只需要三行代码就可以将一个普通的程序转换成一个适合于多核处理器并行处理的程序。

标准方法

让我们举一个简单的例子。在一个文件夹中，有一个有成千上万张图片的图片数据集。在这里，我们决定使用1000份。我们要把所有图像调整为600×600像素的分辨率，然后将它们传输到深度神经网络。下面是Gythub上经常会看到的标准Python代码：

import glob import os import cv2 ### Loop through all jpg files in the current folder  ### Resize each one to size 600x600 for image_filename in glob.glob("*.jpg"):  ### Read in the image data  img = cv2.imread(image_filename)  ### Resize the image  img = cv2.resize(img, (600, 600)) 

上面的程序遵循处理数据脚本时经常看到的简单模式。

1。从需要处理的文件（或其他数据）列表开始。

2。使用循环来逐个处理每个数据，然后在每次迭代中运行预处理。

让我们在一个包含1000个JPEG文件的文件夹中测试程序，看看运行需要多长时间：

time python standard_res_conversion.py

在我的核心I7—7000 K 6内核CPU上，运行时间为7.9864秒！在这种高端CPU上，这种速度似乎是不可接受的，看看我们能做些什么。

更快的方式

为了理解并行化增强，假设我们需要执行相同的任务，例如将1000个钉子钉到木头中，并且如果需要1秒钟来钉一个，则需要1人1000秒来完成任务。四个人只需250秒就可以合作。

在包含1000个图像的示例中，Python可以做类似的工作：

将 jpeg 文件列表分成 4 个小组；

运行 Python 解释器中的 4 个独立实例；

让 Python 的每个实例处理 4 个数据小组中的一个；

结合四个处理过程得到的结果得出最终结果列表。

这种方法的重点是Python帮助我们处理所有困难的任务。我们只告诉它我们要运行哪个函数，要使用多少个Python实例，剩下的要用到它！只需更改三行代码即可。例子：

import glob import os import cv2 import concurrent.futures def load_and_resize(image_filename):  ### Read in the image data  img = cv2.imread(image_filename)  ### Resize the image  img = cv2.resize(img, (600, 600))  ### Create a pool of processes. By default, one is created for each CPU in your machine. with concurrent.futures.ProcessPoolExecutor() as executor:  ### Get a list of files to process  image_files = glob.glob("*.jpg")  ### Process the list of files, but split the work across the process pool to use all CPUs  ### Loop through all jpg files in the current folder  ### Resize each one to size 600x600  executor.map(load_and_resize, image_files)

从上面的代码中提取一条直线：

with concurrent.futures.ProcessPoolExecutor() as executor:

你拥有的CPU内核越多，你启动的Python进程就越多，我的CPU就有6个内核。实际的处理代码如下：

executor.map(load_and_resize, image_files)

执行人。MAP（）将输入的函数和列表作为输入，列表中的每个元素都是对函数的单个输入。由于我们有6个核心，我们将同时处理列表中的6个项目。

如果我们用下面的代码再次运行我们的程序：

time python fast_res_conversion.py

我们可以将运行时间缩短到1.14265秒，并将速度提高近6倍。

注意：在生成更多的Python进程并在它们之间整理数据方面有一些开销，所以速度提升并不总是那么明显。但总的来说，速度的增长是相当可观的。

总是那么快吗？

如果您有一个数据列表要处理并在每个数据点上执行类似的操作，那么使用Python并行池是一个不错的选择。但有时这不是最好的解决办法。并行池处理的数据将不会以任何可预测的顺序处理。如果你对处理结果有特殊的顺序要求，这个方法可能不适合你。

您处理的数据也必须是Python可以“烹调”的类型。幸运的是，这些指定的类别非常常见。以下是Python的官方文件：

None, True, 及 False

整数、浮点数、复数

字符串、字节、字节数组

只包含可挑选对象的元组、列表、集合和字典

在模块顶层定义的函数（使用 def ，而不是 lambda ）

在模块顶层定义的内置函数

在模块顶层定义的类

这种类的实例，其 __dict__ 或调用__getstate__() 的结果是可选择的。