何为计算密集型任务

下面贴上网上找到的描述计算密集型任务的特点是要进行大量的计算，消耗CPU资源，比如计算圆周率、对视频进行高清解码等等，全靠CPU的运算能力。这种计算密集型任务虽然也可以用多任务完成，但是任务越多，花在任务切换的时间就越多，CPU执行任务的效率就越低，所以，要最高效地利用CPU，计算密集型任务同时进行的数量应当等于CPU的核心数。

计算密集型任务由于主要消耗CPU资源，因此，代码运行效率至关重要。Python这样的脚本语言运行效率很低，完全不适合计算密集型任务。对于计算密集型任务，最好用C语言编写。

简单总结一下就是，计算密集型任务吃CPU。Python是脚本语言效率低，做计算密集型任务很弱。可以用mutliprocess的方式在一定程度内提升运行效率。但还是不如C。

C语言是编译型语言，需通过编译器(compiler)将源代码编译成机器码，之后才能执行的语言。一般需经过编译(compile)、链接(linker)这两个步骤。编译是把源代码编译成机器码，链接是把各个模块的机器码和依赖库串连起来生成可执行文件。因为编译只做一次，运行时不需要编译，所以编译型语言的程序执行效率高。可以脱离语言环境独立运行。而Python是解释型语言，解释性语言的程序不需要编译，相比编译型语言省了道工序，解释性语言在运行程序的时候才逐行翻译。但是每次运行的时候都要解释一遍，性能上不如编译型语言。

所以拿Python来和C比性能可以说是拿鸡蛋碰石头。但是由于Python语言的简洁性、易读性以及可扩展性，越来越多的领域如Web开发、科学计算和统计、人工智能等等等都可以见到Python的身影。那么假如由于某些原因而不得不选择使用Python作为计算密集型任务的开发语言时，该如何提升Python程序的运行效率呢？

应对计算密集型任务比较通用的方法是多进程，这里不做过多讨论，感兴趣的同学可以自行搜索。今天要介绍的主角是Cython。

什么是Cython

Cython是让Python脚本支持C语言扩展的编译器，Cython能够将Python+C混合编码的.pyx脚本转换为C代码，主要用于优化Python脚本性能或Python调用C函数库。由于Python固有的性能差的问题，用C扩展Python成为提高Python性能常用方法，Cython算是较为常见的一种扩展方式。

计算密集型任务例子

计算一定范围内哪些数字是素数是一个典型的计算密集型任务。我们就以计算300万以内的素数列表为例，来看如何用Cython给代码提速。

Python实现

首先来看一下纯Python的实现。

import time

from math import sqrt

def primes(n):

results = [1]

for i in range(2, n):

for j in range(2, int(sqrt(i))):

if i % j == 0:

break

else:

results.append(i)

return results

def main():

delta_time = []

for _ in range(10):

start = time.time()

primes(3000000)

end = time.time()

delta_time.append((end - start))

print('Average Running Time: {} Seconds'.format(sum(delta_time) / 10))

if __name__ == '__main__':

main()

代码挺简单的就不做赘述了。跑了10次primes()最终得到的程序平均运行时间为18.07s。

直接使用Cython

接下来让我们尝试不对源代码做任何修改，直接用Cython将其编译成C是什么效果。

首先直接将python文件后缀改成pyx

cp prime.py prime_c.pyx

相同目录下新建一个setup.py

from distutils.core import setup

from Cython.Build import cythonize

setup(

ext_modules = cythonize('prime_c.pyx')

)

运行命令将Python编译为二进制代码

python setup.py build_ext --inplace

这会在当前目录下生成这2个文件 prime_c.c : 调用Python源码的C代码 prime_c.cpython-39-darwin.so : 把C代码编译成动态链接库

这样我们就可以用python调用刚才生成的动态连接库

import prime_c

prime_c.main()

最终的平均执行时间为12.11s。程序的执行速度有了32.98%的小幅提升，但还不是很快。

为了进一步提升代码效率，我们需要进一步深入代码来找找可以优化的地方。然而刚才生成的C代码长这样，可读性很差。

好在Cython提供了一个分析生成code的方法。通过 cython -a prime_c.pyx可以生成一个prime_c.html。在这个网页里可以直观看到python源码和c代码的对应关系。

越黄的部分意味着越多的调用python虚拟机，越白意味着越接近non-Python的C代码。因此我们的目标是尽可能减少黄色，增加白色。但是这不意味着减少黄色的部分就能极大的提升程序效率，因为每次调用Python虚拟机都会有一定开销，但单次请求的开销其实并不太大，只有在一个大循环里反复调用虚拟机开销才比较明显。所以我们可以忽略循环外的代码，而将注意力集中在循环的部分。

当n等于300万时，程序的主要时间开销就在下面这个循环里。

for i in range(2, n):

for j in range(2, int(sqrt(i))):

if i % j == 0:

break

else:

results.append(i)

进一步优化

Python的运行速度慢除了因为是解释执行以外还有一个最重要的原因是Python是动态类型语言，每个变量在运行前是不知道类型是什么的，所以即便编译为二进制代码同样速度不会太快，这时候我们需要使用Cython来指定Python的数据类型。

修改我们的pyx文件，给参数n加上类型int。同时声明用于循环的i,j也为int类型。

import time

from math import sqrt

def primes(int n):

cdef int i, j

results = [1]

for i in range(2, n):

for j in range(2, int(sqrt(i))):

if i % j == 0:

break

else:

results.append(i)

return results

def main():

delta_time = []

for _ in range(10):

start = time.time()

primes(3000000)

end = time.time()

delta_time.append((end - start))

print('Average Running Time: {} Seconds'.format(sum(delta_time) / 10))

if __name__ == '__main__':

main()

做了这么一点微小的改动后可以看到代码变白了一点。之后按照之前的方法编译运行。

猜猜这么一个微小的改动能让速度提升多少？答案揭晓……最终的平均运行时间为1.22s，比纯python提升了93.25%，速度是原来的15倍左右！

程序还可以进一步优化，比如可以用numpy.array代替原生List，这里就不多说了，感兴趣的同学可以尝试一下。

总结

人生苦短，我用Python。除了Cython还有诸如Shed Skin、Numba、Pythran、PyPy等工具可以从多方面提升Python的运行程序的运行效率。不过语言只是工具，针对具体业务制定高效的方案才是王道。

特修斯之Python——一个可以在电脑里运行的程序，只要一段代码效率低了，那么这段代码就会被替换掉，那么问题来了，如果这个程序全被替换成C了，最终产生的这程序是否还是原来的那个程序，还是一个完全不同的程序？

开个玩笑。对Python性能感兴趣的同学可以看看《Python高性能编程》这本书进行深入了解。

References