标签：ssi nbsp 进制 font 并发 end 比较 bsp strong
concurrent.futures模块，可以利用multiprocessing实现真正的平行计算。核心原理是：concurrent.futures会以子进程的形式，平行的运行多个python解释器，从而令python程序可以利用多核CPU来提升执行速度。由于子进程与主解释器相分离，所以他们的全局解释器锁也是相互独立的。每个子进程都能够完整的使用一个CPU内核。
最大公约数
这个函数是一个计算密集型的函数。
# -*- coding:utf-8 -*- # 求最大公约数 def gcd(pair): a, b = pair low = min(a, b) for i in range(low, 0, -1): if a % i == 0 and b % i == 0: return i numbers = [ (1963309, 2265973), (1879675, 2493670), (2030677, 3814172), (1551645, 2229620), (1988912, 4736670), (2198964, 7876293) ]
不使用多线程/多进程
import time start = time.time() results = list(map(gcd, numbers)) end = time.time() print ‘Took %.3f seconds.‘ % (end - start) Took 2.507 seconds.
消耗时间是：2.507。
多线程ThreadPoolExecutor
import time from concurrent.futures import ThreadPoolExecutor, ProcessPoolExecutor, Executor start = time.time() pool = ThreadPoolExecutor(max_workers=2) results = list(pool.map(gcd, numbers)) end = time.time() print ‘Took %.3f seconds.‘ % (end - start) Took 2.840 seconds.
消耗时间是：2.840。
上面说过gcd是一个计算密集型函数，因为GIL的原因，多线程是无法提升效率的。同时，线程启动的时候，有一定的开销，与线程池进行通信，也会有开销，所以这个程序使用了多线程反而更慢了。
多进程ProcessPoolExecutor
import time from concurrent.futures import ThreadPoolExecutor, ProcessPoolExecutor, Executor start = time.time() pool = ProcessPoolExecutor(max_workers=2) results = list(pool.map(gcd, numbers)) end = time.time() print ‘Took %.3f seconds.‘ % (end - start) Took 1.861 seconds.
消耗时间：1.861。
在两个CPU核心的机器上运行多进程程序，比其他两个版本都快。这是因为，ProcessPoolExecutor类会利用multiprocessing模块所提供的底层机制，完成下列操作：
1）把numbers列表中的每一项输入数据都传给map。
2）用pickle模块对数据进行序列化，将其变成二进制形式。
3）通过本地套接字，将序列化之后的数据从煮解释器所在的进程，发送到子解释器所在的进程。
4）在子进程中，用pickle对二进制数据进行反序列化，将其还原成python对象。
5）引入包含gcd函数的python模块。
6）各个子进程并行的对各自的输入数据进行计算。
7）对运行的结果进行序列化操作，将其转变成字节。
8）将这些字节通过socket复制到主进程之中。
9）主进程对这些字节执行反序列化操作，将其还原成python对象。
10）最后，把每个子进程所求出的计算结果合并到一份列表之中，并返回给调用者。
multiprocessing开销比较大，原因就在于：主进程和子进程之间通信，必须进行序列化和反序列化的操作。
标签：ssi nbsp 进制 font 并发 end 比较 bsp strong
原文地址：http://www.cnblogs.com/kangoroo/p/7628092.html
