将n个任务交给n个进程去执行每一个进程在执行完毕之后会有一个返回值，这个返回值交给callback函数指定的那个函数去处理这样的话所有的进程哪一个执行的最后快，哪一个就可以先进性统计工作这样就能在最短的时间内得到我们想要的结果 import time import random from multi ...
分类：
编程语言 时间：
2019-02-14 22:18:11
阅读次数：
244
一、创建子进程 二、创建进程池 三、进程间通信 ...
分类：
系统相关 时间：
2019-02-14 15:15:47
阅读次数：
161
一、管道 Pipe 这是一个单向流动的管道，一次产生一对。看代码： 二、事件--Event 三、信号量 Semaphore 先看代码吧： import random From fultiprocessing import Process,Semaphoredef f(s): s.acquire()# ...
分类：
系统相关 时间：
2019-02-08 15:52:26
阅读次数：
176
python是一门面向对象的语言，那么我们在写爬虫的时候自然也可以用到类的封装来实现爬虫。 一、类的使用 首先是对类的封装，可以将一些请求头写入构造函数当中（因为后面有进程池使用，所以构造函数不需要带参数，如果带上在后面的进程池中，也会报错）。 二、Ajax数据处理 喜马拉雅的音乐也是采用Ajax的 ...
分类：
系统相关 时间：
2019-02-02 00:19:52
阅读次数：
206
当需要创建的子进程数量不多时，可以直接利用multiprocessing中的Process动态成生多个进程， 但如果是上百甚至上千个目标，手动的去创建进程的工作量巨大，此时就可以用到multiprocessing模块提供的Pool方法。 apply_async(func[, args[, kwds] ...
分类：
系统相关 时间：
2019-01-29 15:00:00
阅读次数：
221
import time#线程池可以用shutdown submit from threading import current_thread from concurrent.futures import ThreadPoolExecutor,ProcessPoolExecutor def f1(n) ...
分类：
编程语言 时间：
2019-01-24 19:26:50
阅读次数：
531
一、Python标准模块--concurrent.futures（并发未来） 二、线程池 1 # 1.同步执行 2 from concurrent.futures import ProcessPoolExecutor,ThreadPoolExecutor 3 import os,time,rando ...
分类：
编程语言 时间：
2019-01-20 00:12:10
阅读次数：
173
平常会经常用到多进程，可以用进程池pool来进行自动控制进程，下面介绍一下pool的简单使用。 需要主动是，在Windows上要想使用进程模块，就必须把有关进程的代码写if __name__ == ‘__main__’ :语句的下面，才能正常使用Windows下的进程模块。Unix/Linux下则不 ...
分类：
编程语言 时间：
2019-01-17 11:41:06
阅读次数：
233
在上网查阅一些python爬虫文章时，看见有人分享了爬取股票的交易数据，不过实现得比较简单。这里就做个小练习，从百度股票批量爬取各股票的交易信息。 文章出处为：Python 爬虫实战(2)：股票数据定向爬虫。 爬取数据：每个股票的日度交易数据 爬取来源：百度股市通 python版本：3.6.6 时间 ...
分类：
系统相关 时间：
2019-01-15 19:07:21
阅读次数：
382
