进程池 [TOC] 父进程的实现流程 1、定义数据结构pChild,申请子进程数目的结构体空间 2、通过循环，socketpair创建全双工管道，创建子进程，将子进程pid，管道对端，是否忙碌等信息存储 3、socket，bind，listen，对应的端口处于监听状态 netstat 4、epoll ...
分类：
系统相关 时间：
2019-05-13 22:56:50
阅读次数：
168
在大多数人在结束咱们前面学习的基础知识的时候，其实一脸懵逼，不过我们已经开始步入了另一个新的高度，针对基础知识还是必须巩固针对性的补充，可以分模块总结：比如基础知识的数据结构 >函数 >文件操作及字符编码 >网络编程（socket）文件传输 >并发（线程池进程池） 如何上传文件 如何实现单线程高并发 ...
分类：
数据库 时间：
2019-05-11 23:13:42
阅读次数：
170
socket服务端实现并发 服务端需要满足以下3点： 1 固定的ip和port 2 24小时提供服务 3 能够实现并发 多线程实现并发： 服务端： import socket from threading import Thread import os server = socket.socket( ...
分类：
编程语言 时间：
2019-05-11 17:43:43
阅读次数：
128
为什么要用线程池 系统启动一个新线程的成本是比较高的，因为它涉及与操作系统的交互。在这种情形下，使用线程池可以很好地提升性能，尤其是当程序中需要创建大量生存期很短暂的线程时，更应该考虑使用线程池。 线程池在系统启动时即创建大量空闲的线程，程序只要将一个函数提交给线程池，线程池就会启动一个空闲的线程来 ...
分类：
编程语言 时间：
2019-05-09 19:45:25
阅读次数：
156
如何提升requests模块爬取数据的效率 多进程或者多线程（不建议） 线程池或者进程池（适当使用） 单线程+异步协程（推荐） 示例爬取梨视频 import requests import re from lxml import etree from multiprocessing.dummy im ...
分类：
其他好文 时间：
2019-05-06 23:46:46
阅读次数：
218
一，前言 进程：是程序，资源集合，进程控制块组成，是最小的资源单位 特点：就对Python而言，可以实现真正的并行效果 缺点：进程切换很容易消耗cpu资源，进程之间的通信相对线程来说比较麻烦 线程：是进程中最小的执行单位。 特点无法利用多核，无法实现真正意义上是并行效果。 优点：对于IO密集型的操作 ...
分类：
编程语言 时间：
2019-04-28 17:06:16
阅读次数：
131
最近的部门RPA项目中，小爬为了提升爬虫性能，使用了Python中的多进程（multiprocessing）技术，里面需要用到进程锁Lock，用到进程池Pool，同时利用map方法一次构造多个process。Multiprocessing的使用确实能显著提升爬虫速度，不过程序交由用户使用时，缺乏一个 ...
分类：
编程语言 时间：
2019-04-28 12:28:21
阅读次数：
303
仔细说来，multiprocess不是一个模块而是python中一个操作、管理进程的包。 之所以叫multi是取自multiple的多功能的意思,在这个包中几乎包含了和进程有关的所有子模块。由于提供的子模块非常多，为了方便大家归类记忆，我将这部分大致分为四个部分：创建进程部分，进程同步部分，进程池部 ...
分类：
其他好文 时间：
2019-04-22 12:02:18
阅读次数：
147
创建进程，守护进程，进程锁Lock,进程通信IPC，JoinableQueue模块简介，进程池 ...
分类：
编程语言 时间：
2019-04-21 00:14:41
阅读次数：
143
