码迷,mamicode.com
首页 > 编程语言 > 详细

Python并发编程

时间:2021-04-22 15:31:55      阅读:0      评论:0      收藏:0      [点我收藏+]

标签:range   核心   就是   数据类型   process   linux服务   ps aux   amp   wc -l   

并发执行-并发编程

1.物理机

01.Windows
  NumberOfCores
  NumberOfLogicalProcessors
  
  cpu个数   是指物理上安装了几个cpu,一般的个人电脑是安装了1个cpu
  cpu内核数 是指物理上,一个cpu芯片上集成了几个内核单元,现代cpu都是多核的。
  cpu线程数 是指逻辑上处理单元,这个技术是Intel的超线程技术,它让操作系统识别到有多个处理单元
  
02.Linux服务器
 -- 正在运行的程序都会在/proc
 CPU的信息
     cat /proc/cpuinfo | grep name | cut -f2 -d: | uniq -c
     # 查看物理CPU个数
      cat /proc/cpuinfo| grep "physical id"| sort| uniq| wc -l
     # 查看每个物理CPU中core的个数(即核数)
      cat /proc/cpuinfo| grep "cpu cores"| uniq
     # 查看逻辑CPU的个数
	 cat /proc/cpuinfo| grep "processor"| wc -l
 内存
     cat /proc/meminfo
	 free -h 

 硬盘
     df  -h    说明:  Disk free  空余硬盘
     du  -sh           Disk usage 硬盘使用率
	  
 网络:
    ifconfig 

 内核模块
 
 驱动模块
  
etcetera 等等
twm = twm = Tom‘s Window Manager  

2.Python物理机和Python关系

1.物理机的情况
   多线程指的是,在一个进程中开启多个线程
   进程(process)  线程(thread)
   多进程中,同一个变量,各自有一份拷贝存在于每个进程中,互不影响,而多线程中,所有变量都由所有线程共享	
   Python的线程虽然是真正的线程,但解释器执行代码时,
     有一个GIL锁:Global Interpreter Lock,任何Python线程执行前,必须先获得GIL锁
     所有线程共享进程的内存
   可以通过多进程实现多核任务。多个Python进程有各自独立的GIL锁,互不影响。
   多核CPU上,可以运行多个进程(数量与CPU核心数相同),充分利用多核CPU
   Python语言,单线程的异步编程模型称为协程
2.CPU密集型 vs IO密集型
   CPU密集代码的执行中,多线程性能不如多进程
   多线程对IO密集型代码比较友好
    CPU密集型代码(各种循环处理、计数等等),推荐 多进程 - process
    I/O密集型代码(文件处理、网络爬虫等),  推荐 多线程 - thread

3.情况
  Queue Queue的作用是用来传递任务和接收结果
  对于多进程,GIL就无法限制,多个进程可以再多个CPU上运行,充分利用多核优势 
  
额外:
   协程:是单线程下的并发,又称微线程,纤程。英文名Coroutine
   协程是一种用户态的轻量级线程,即协程是由用户程序自己控制调度的。
   yield(生成器)可以很容易的实现上述的功能,从一个函数切换到另外一个函数
 异步编程asyncio库: python中使用协程最常用的库就是asyncio

3.Python3 通过标准库

本质: 切换+保存状态
进程+线程+协程
1.线程和进程
   threading 和  multiprocessing
   01.线程
    _thread 和 threading 提供对线程的支持
   其中 threading.currentThread() 
   在python中有GIL,线程锁,保证只有一个线程在计算,在不停的切换  
   python的线程属于内核级别的,即由操作系统控制调度
  02.进程
   需要mutliprocessing 因为每个核有单独的逻辑空间,互相不影响   
   每个进程都有自己独立的GIL
2.线程池和进程池
  ThreadPoolExecutor  异步调用的 线程池 的Executor
  ProcessPoolExecutor 异步调用的 进程池 的Executor
  01.线程池:
   ThreadPoolExecutor线程池
   
  02.进程池: 
   ProcessPoolExecutor 进程池,与 multiprocessing 标准的多进程模块。
    其实ProcessPoolExecutor也是对multiprocessing的封装调用,而multiprocessing则更加底层
	
 Queue用于建立和操作队列,常和threading类一起用来建立一个简单的线程队列		
 		
 Executor 对象  (map  submit  shutdown)
    ThreadPoolExecutor    是 Executor 的子类,它使用线程池来异步执行调用
       ThreadPoolExecutor.map
       ThreadPoolExecutor.submit
    ProcessPoolExecutor 类是 Executor 的子类,它使用进程池来异步地执行调用。
         ProcessPoolExecutor 会使用 multiprocessing 模块,这允许它绕过 全局解释器锁 但也意味着只可以处理和返回可封存的对象
 		
     map返回一个迭代器,其中的回调函数的参数 最好是可以迭代的数据类型,
     如list;如果有 多个参数 则 多个参数的 数据长度相同;
     如: pool.map(work,[[1,2],[3,4]],[0,1]]) 中 [1,2]对应0 ;[3,4]对应1 ;
      其实内部执行的函数为 work([1,2],0) ; work([3,4],1)
     map返回的结果是有序结果;是根据迭代函数执行顺序返回的结果
     使用map的优点是 每次调用回调函数的结果不用手动的放入结果list中
   
      pool.submit()
 		 submit方法提交可回调的函数,并返回一个future实例;
 		 future对象包含相关属性((cancel  cancelled  done  running  exception))
          例如: Future对象有一个done()方法,判断该Future是否己完成
 		 方法 执行数据的结果是无序的
 
 Future 类将可调用对象封装为异步执行。
    Future 实例由 Executor.submit() 创建
          
Linux 
   ps aux
   top
   pstree -aup   display a tree of processes
   
 对应的进程ID就可以查看到该进程打开的线程数
  service  job   Process  thread

4.Python执行系统命令-子进程

os
   os.system(cmd)的返回值是脚本的退出状态码,只会有0(成功),1,同时执行后结果直接打印在控制台,无法读取保存到文件&变量
   os.popen(cmd)返回脚本执行的输出内容作为返回值。执行后不会打印到控制台,可通过read()读取结果

subprocess 
    os.system可以用 subprocess.call来替代,
    os.popen可以使用subprocess.Popen来替代

带参数

# R语言	
apply(X, MARGIN, FUN, ...) FUN: 自定义的调用函数
b <- matrix(1:6,nrow=3)
myfun <- function(x){sum(x^2)}
apply(b,1,myfun)

aa <- matrix(1:9,3)
myfun <- function(x,y){ x**y}
apply(aa,1,myfun,y=3)

#Python
if __name__ == "__main__":
    num_list = [1, 2, 3, 4, 5]
    dat = [3 for i in range(len(num_list))]
    result = map(square, num_list,dat)
    for data in result:
        print(data)

Python并发编程

标签:range   核心   就是   数据类型   process   linux服务   ps aux   amp   wc -l   

原文地址:https://www.cnblogs.com/ytwang/p/14680451.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!