码迷,mamicode.com
首页 > 系统相关 > 详细

进程池

时间:2017-12-07 19:16:06      阅读:19      评论:0      收藏:0      [点我收藏+]

标签:ror   --   back   error   fun   proc   print   获取   pool   

一、前言

  进程池内部维护一个进程序列,当使用时,则去进程池中获取一个进程,如果进程池序列中没有可供使用的进程,那么程序就会等待,直到进程池中有可用进程为止。进程池的作用可以在多进程程序中有效的控制进程运行的个数,维护系统的稳定。

二、multiprocessing.pool

  2.1 apply(func, args=(), kwds={})

  默认阻塞,所有进程是串行的,不建议使用

from multiprocessing import Pool
import time
import os


def foo(i):
    time.sleep(2)
    print(‘in process‘, os.getpid())
    return i + 100


if __name__ == ‘__main__‘:   # windows 运行进程池一定要加这

    pool = Pool(5)   # 进程池中进程个数为5,多余的进程先挂起

    for i in range(10):
        pool.apply(func=foo, args=(i,))

    print(‘end‘)
    pool.close()
    pool.join()  # 进程池中进程执行完毕后再关闭,如果注释,那么程序直接关闭。

  注:所有进程会依次运行,主进程等待所有进程结束

  2.2 apply_async(func, args=(), kwds={}, callback=None, error_callback=None)

  非阻塞,进程池中的进程并行,支持回调 

from multiprocessing import Pool
import time
import os


def foo(i):
    time.sleep(1)
    print(‘in process‘, os.getpid())
    return i + 100


if __name__ == ‘__main__‘:   # windows 运行进程池一定要加这

    pool = Pool(5)   # 进程池中进程个数为5,多余的进程先挂起

    for i in range(10):
        pool.apply_async(func=foo, args=(i,))


    print(‘end‘)
    pool.close()
    pool.join()  # 进程池中进程执行完毕后再关闭,如果注释,那么程序直接关闭。

 

三、回调函数

   在apply_async中执行回调函数,每执行完一个子进程,主进程就调用一下回调函数,回调函数执行完后再执行下一个子进程 

# -*- coding: UTF-8 -*-

from multiprocessing import Pool
import time
import os


def foo(i):
    time.sleep(1)
    print(‘in process‘, os.getpid())
    return i + 100


def bar(arg):   # 增加的回到函数, 其实回调函数是主进程执行的
    print(‘-->exec done:‘, arg, os.getpid())


if __name__ == ‘__main__‘:   # windows 运行进程池一定要加这

    pool = Pool(5)   # 进程池中进程个数为5,多余的进程先挂起
    print(‘main process pid,‘, os.getpid())
    for i in range(10):
        pool.apply_async(func=foo, args=(i,), callback=bar)
        # pool.apply(func=foo, args=(i,))

    print(‘end‘)
    pool.close()
    pool.join()  # 进程池中进程执行完毕后再关闭,如果注释,那么程序直接关闭。

  注:通过进程pid可以看出,回调函数其实是由主进程执行的 

进程池

标签:ror   --   back   error   fun   proc   print   获取   pool   

(0)
(0)
   
举报
评论 一句话评论(0
0条  
登录后才能评论!
© 2014 mamicode.com 版权所有 京ICP备13008772号-2
迷上了代码!