Python多进程

import time
from multiprocessing import Process
# 进程之间全局变量不共享


def work_1():
    for i in range(10):
        print(‘任务1‘)
        time.sleep(0.5)


def work_2():
    for i in range(10):
        print(‘任务2‘)
        time.sleep(0.5)


# 进程执行的时候不加main 为什么会报错：
# 在执行过程中相当于在另外一个py文件中导入这个模块并运行函数，由于是导入模块所以
# 创建多进程的代码也会被导入，然后就又去开了线程，陷入无限递归的状态
if __name__ == ‘__main__‘:
    # 创建两个进程
    p1 = Process(target=work_1)
    p2 = Process(target=work_2)
    p1.start()
    p2.start()

import requests
from multiprocessing import Process, Queue

def work_1(q):
    while q.qsize() > 0:
        url = q.get()
        requests.get(url)
        print(‘任务1‘)


def work_2(q):
    while q.qsize() > 0:
        url = q.get()
        requests.get(url)
        print(‘任务2‘)


if __name__ == ‘__main__‘:
    q = Queue()
    for i in range(10):
        q.put(‘http://localhost:3000/login‘)
# 将q 这个实例化对象当作参数传入函数中（不同的进程中），可以实现多进程共享变量，把这个队列放到一个公共区间内
    p1 = Process(target=work_1, args=(q,))
    p2 = Process(target=work_2, args=(q,))
    p1.start()
    p2.start()

import requests
from multiprocessing import Pool, Manager  # 进程池Pool    Manager().Queue()  # 进程池中的队列
import time
import os  # 查看进程的pid
# a = Manager().Queue()  # 进程池中的队列


def work(q):
    # 判断队列是否有任务
    while q.qsize() > 0:
        # 获取任务
        url = q.get()
        requests.get(url)
        print(‘任务1{}‘.format(os.getpid()))


if __name__ == ‘__main__‘:
    # 进程池中的队列
    q = Manager().Queue()
    for i in range(10):
        # 增加任务
        q.put(‘http://localhost:3000/login‘)
    # 创建进程池 最大进程数为3
    p = Pool(3)
    for i in range(10): 
        # 开启进程执行任务  在进程池中，初始化几个进程，轮询执行任务，当一个任务执行完毕后这个进程会去执行另一个任务，直到所有任务完成
        if q.qsize() > 0:
　　　　　　　　# 每次循环将会用空闲出来的子进程去调用目标
            p.apply_async(work, args=(q,))  # 异步的效率,也就是池中的进程一次性都去执行任务. 进程中有3个进程，一下就处理3个任务，接下来哪个进程处理完任务了，就马上去接收下一个任务

    p.close()  # 进程池使用完毕一定要关闭进程池:停止往进程池中添加新的任务
    p.join()  # 等待po中所有子进程执行完成，必须在close之后  等待线程池中的所有任务都执行完了之后再往下执行
# 异步处理任务时 : 必须要加上close和join. 进程池的所有进程都是守护进程(主进程代码执行结束,守护进程就结束).