方式一：multiprocessing.Process def worker(procnum, return_dict): '''worker function''' print str(procnum) + ' represent!' return_dict[procnum] = procnum ...
分类：
系统相关 时间：
2020-10-22 22:46:37
阅读次数：
30
Nginx相对于Apache的优势： 1.轻量级，采用C进行编写，同样的web服务，会占用更少的内存及资源 2.抗并发，nginx以epoll and kqueue作为开发模型，处理请求是异步非阻塞的，多个连接对应一个进程，负载能力比apache高很多， 而apache则是同步多进程模型，只能一个连 ...
分类：
Web程序 时间：
2020-10-08 19:50:06
阅读次数：
44
Python的多进程因为可以充分利用CPU多核的特点，所以通常用于计算密集型的场景或者需要大量数据操作的场景，而对于多线程，在某些语言中因为可以充分利用CPU，所以可能多线程的场景使用得多一点，但是在Python中，多线程只能在CPU的单核中运行，不能充分利用CPU多核的特点，所以Python多线程 ...
分类：
编程语言 时间：
2020-10-08 18:08:25
阅读次数：
21
Promise Pool 在自己工作生活中，有时候会自己写一下小工具，来代替人工去操作一些事情，比如从网页上下载图片时，需要限制同时下载的数量，防止被网站拉入黑名单，就需要使用一定的方法来控制同时进行的任务数了 之前自己写过python脚本来爬虫下载图片，但还是对python还是不太熟，对js却熟悉 ...
分类：
系统相关 时间：
2020-09-17 13:20:00
阅读次数：
32
#!/usr/bin/env python import os import numpy as np import py7zr import shutil import pandas as pd import time import multiprocessing import re def fun ...
分类：
系统相关 时间：
2020-09-09 19:20:50
阅读次数：
50
前言进程是计算机中程序关于某几何数据集合上的一次运行活动，是系统进行资源分配和调度的基本单位。是操作系统结构的基础线程可以说是轻量级的进程，是程序执行的最小单位，使用多线程而不用多进程去进行并发程序的设计，是因为线程之间的切换与调度的成本远小于进程。线程的几种状态New状态表示刚刚创建的线程，这种线程还没有开始执行RUNNABLE:当线程创建好之后，调用线程的start方法就会进入就绪状态。BLO
分类：
编程语言 时间：
2020-09-03 17:09:51
阅读次数：
67
高性能异步爬虫目的：在爬虫中使用异步实现高性能的数据爬取操作异步爬虫的方式： - 多线程、多进程（不建议）： 好处：可以为相关阻塞的操作单独开启多线程或进程，阻塞操作就可以异步执行; 弊端：无法无限制的开启多线程或多进程。 - 线程池、进程池（适当的使用）： 好处：我们可以降低系统对进程或线程创建和 ...
分类：
编程语言 时间：
2020-08-31 13:23:39
阅读次数：
70
一、进程和线程 进程：每个进程都有独立的代码和数据空间（进程上下文），进程间的切换会有较大的开销，一个进程包含1--n个线程。 线程：同一类线程共享代码和数据空间，每个线程有独立的运行栈和程序计数器(PC)，线程切换开销小。 线程和进程一样分为五个阶段：创建、就绪、运行、阻塞、终止。 多进程是指操作 ...
分类：
编程语言 时间：
2020-08-31 11:54:36
阅读次数：
42
协程是实现并发编程的一种方式。一说并发，你肯定想到了多线程/多进程模型，没错，多线程/多进程，正是解决并发问题的经典模型之一。最初的互联网世界，多线程/多进程在服务器并发中，起到举足轻重的作用。随着互联网的快速发展，你逐渐遇到了 C10K 瓶颈，也就是同时连接到服务器的客户达到了一万个。于是很多代码 ...
分类：
其他好文 时间：
2020-08-28 14:27:29
阅读次数：
39
为何需要分布式锁？ 在单进程的系统中，当遇到并发情况下，会出现一些数据异常的问题，但是如果这些数据是需要保证唯一性的话，那我们就希望在同一时刻，只能有一个线程在执行这块代码，通常我们一般都是通过简单的加锁或同步来实现并解决这个问题。 但是以上都是单进程多线程的情况，如果出现多进程多线程，显然会出现问 ...
分类：
Web程序 时间：
2020-08-25 15:43:01
阅读次数：
61
