在python并行处理任务时要使用多线程还是多进程？ 说到这个话题，必须要提的GIL( Global Interpreter Lock)全局解释锁，当Cpython每次执行字节码时都要先申请这个锁。那么问题就来了，如果使用多线程是比也会受到影响。
多线程和多进程程序比较，哪个性能更高？还是拿一个实例运行来看看吧～
＃写一个简单的例子，计算100W个随机数的和8次，同时将分散到8个线程进行运算。
＃thread.py
#!/usr/bin/env python
import random
import threading
results = []
def compute():
results.append(
sum([random.randint(1,100) for i in range(1000000)]))
def main():
workers = [threading.Thread(target(compute) for x in range(8))]
for worker in workers:
worker.start()
for woker in workers:
worker.join()
print("Result: %s" % results)
if __name__ == "__main__":
main()
#相同的功能，使用多进程来实现
#worker.py
#!/usr/bin/env python
import multiprocessing
import random
def compute(n):
return sum(
[random.randint(1,100) for i in range(1000000)])
def main():
pool = multiprocessing.Pool(8)
print("Results: %s" % pool.map(compute, range(8)))
if __name__ == "__main__":
main()两个代码片段已经写完了，接下来我找了三种配置的机器来运行这两段代码：
| 配置1 | 1Core | 2GB内存 |
配置2 | 4Core | 8GB内存 |
| 配置3 | 48Core | 64GB内存 |
实验1:
两端代码同时在1Core 2GB机器上运行，查看运行结果：
从运行结果来看，多线程的程序比多进程的程序效率要高，使用cpu都是99%(由于机器只有一个Core，多进程没有体现它的价值)。
实验2:
两段代码同时在4Core 8GB内存机器上运行，查看运行结果：
从运行结果来看，多进程程序效率比多线程程序效率要高1倍还要多。cpu使用上多线程卡在了141%，多进程跑到了379%，这里体现出多进程的优势。
实验3:
两段代码同时在48core 64GB内存机器上跑，查看运行结果：
从运行结果来看，多进程程序cpu可以跑到715%(程序设置了开启8个worker进程，所以不会超过800%)，而多线程卡在了124%。
通过以上测试结果，已经可以得出。python下多进程程序要比多线程程序要高效。并且会随着Core数不断的增加，性能也会得到提升。
所以考虑在一定的时间内并行处理一些工作时，最好依靠多进程创建多个作业，以便在多个cpu之间分散负载。
本文出自 “David” 博客，请务必保留此出处http://davidbj.blog.51cto.com/4159484/1673031
原文地址：http://davidbj.blog.51cto.com/4159484/1673031
