码迷,mamicode.com
首页 > 其他好文 > 详细

asyncio(三)

时间:2018-09-28 23:29:21      阅读:358      评论:0      收藏:0      [点我收藏+]

标签:time   ase   1.0   如何   from   level   tor   获得   一个   

Asyncio初体验

Asyncio在Python中提供的API很复杂,其旨在替不同群体的人解决不同的问题,也正是由于这个原因,所以很难区分重点。

根据asyncio在Python中的特性,可以将其划分为两大主要部分:
1. 应用(最终用户)开发者,想要在应用开发中使用asyncio;
2. 框架开发者,制作框架或库以供应用开发者在他们的应用开发中使用。

在asyncio社区中大部分的问题基本都与这两个部分相关,例如,asyncio的官方文档更像是给框架开发者使用的,而非应用开发者。这导致应用开发者在阅读文档时很容易被其复杂性所震撼,在你使用它之前,你得看完全部的文档才行。

QuickStart

不需要关心官方文档的内容,要掌握asyncio库比想象中要容易。

PEP 492的作者、async Python的主要贡献者——Yury Selivanov——曾说过,asyncio的很多API都是给框架开发者提供的,应用开发人员需要掌握的只是所有API中的一小部分。

在本节我们将研究这些核心特性,并了解如何在Python中使用基于事件的编程,以此实现基本的事件循环。

要成为一个掌握asyncio的应用开发者,你需要知道的东西其实可以用一个小例子来展示。

import time
import asyncio


async def main():
    print(f‘{time.ctime()} Hello‘)
    await asyncio.sleep(1.0)
    print(f‘{time.ctime()} Goodbye‘)
    loop.stop()    # 1


loop = asyncio.get_event_loop()    # 2
loop.create_task(main())    # 3
loop.run_forever()    # 4
pending = asyncio.Task.all_tasks(loop=loop)
group = asyncio.gather(*pending, return_exceptions=True)    # 5
loop.run_until_complete(group)    # 6
loop.close()    # 7
λ  python quickstart.py
Fri Sep 28 19:39:33 2018 Hello
Fri Sep 28 19:39:34 2018 Goodbye
  1. 通常用于信号控制,暂停循环,但循环可以重新启用不会消失;
  2. 在运行协程之前获得一个循环实例,只要是在单线程中,这个实例就是单例的;
  3. 只有调用这个方法,协程才会被执行,该调用返回的task对象可以用于获取任务状态、结果,或可通过task.cancel()取消任务;
  4. 实现循环运行的方法之一,会阻塞当前线程(通常是主线程);
  5. 通常习惯是在程序入口处执行loop.run_forever()方法,在收到进程信号时停止循环,然后收集那些还未完成的task,调用loop.run_until_complete()方法等待其执行完毕,但更多的是用这个方法收集协程任务,然后等待其执行完毕;
  6. 实现循环运行的方法之一,同样阻塞当前线程,其保持循环运行直到其上调度的协程完成;
  7. 通常在最后调用,必须在调用loop.stop()方法的基础上使用,会导致循环永久消失。

上述例子漏了一些东西,最重要的是如何运行阻塞函数,我们知道协程就是函数中使用了await关键字进行切换,但在当前async def还没获得广泛支持前,使用阻塞函数/库是不可避免的。

为此,asyncio提供了一个与concurrent.futures包中的API类似的API,它提供了ThreadPoolExecutorProcessPoolExecutor,默认基于线程,但很容易用基于进程的替换,这之间有些特殊的地方要注意。

import time
import asyncio


async def main():
    print(f‘{time.ctime()} Hello‘)
    await asyncio.sleep(1.0)
    print(f‘{time.ctime()} Goodbye‘)
    loop.stop()


def blocking(): # 1
    time.sleep(0.5) # 2
    print(f‘{time.ctime()} Hello from a thread!‘)


loop = asyncio.get_event_loop()
loop. create_task(main())
loop.run_in_executor(None, blocking)    # 3

loop.run_forever()
pending = asyncio.Task.all_tasks(loop=loop) # 4
group = asyncio.gather(*pending)
loop.run_until_complete(group)
loop.close()
λ  python quickstart_exe.py
Fri Sep 28 20:21:21 2018 Hello
Fri Sep 28 20:21:22 2018 Hello from a thread!
Fri Sep 28 20:21:22 2018 Goodbye
  1. 这个函数调用了常规的sleep(),这会阻塞主线程并阻止loop运行,我们不能使这个函数变成协程,更糟糕的是不能在主线程运行loop时调用它,解决办法是用一个executor来运行它;
  2. 注意一点,这个sleep运行时间比协程中的sleep运行时间要短,后文再讨论如果长的话会发生什么;
  3. 该方法帮助我们在事件循环外用额外的线程或进程执行函数,这个方法的返回值是一个Future对象,意味着可以用await来切换它;
  4. 挂起的task中不包含前面的阻塞函数,并且这个方法只返回task对象,绝对不会返回Future对象。

好了,通过上面的学习,已经掌握了应用开发者对于asyncio库需要的最重要的部分,接下来将拓展知识并对API进行层次理解,这会让你更容易理解如何从文档中获取信息。

Asyncio之顶

从前面一节我们发现,应用开发者只需几个命令就可以使用asyncio,但不幸的是官方文档巨量的API和扁平化的显示格式,让我们很难分清哪些命令更通用,哪些命令是向框架开发者提供的。

框架开发者通过文档寻找钩子并连接到其框架中。本节我们从框架开发者的角度来看他们如何构建新的异步兼容库。

Level Concept Implementation
9 Network: streams StreamReader & StreamWriter
8 Network: TCP & UDP Protocol
7 Network: transports BaseTransport
6 tools asyncio.Queue
5 subprocesses & threads run_in_executor(), asyncio.subprocess
4 tasks asyncio.Task
3 futures asyncio.Future
2 event loop BaseEventLoop
1 coroutines async def & await

上表中加粗字体对于应用开发者最重要,级别分为9级,1级最基础。

  1. 一级,考虑设计第三方框架的最低级别,但在CurioTrio中并不流行,它们只依赖于Python中的本地协程,不依赖asyncio库模块;
  2. 二级,事件循环被分离出来,因此可以对其进行替换,uvloop实现了比标准库更快的循环;
  3. 三四级,带来了Future和Task对象,Task是Future的子类,可将其简单地视作一个等级,一个Future对象表示某种正在进行的动作,其将通过事件循环的notification返回结果,而Task对象表示运行在事件循环上的协程,简单理解为Future是“循环感知”的,Task是“循环感知”+“协程感知”的,应用开发更多地使用Task,而框架开发者的使用比例要看代码细节;
  4. 五级,代表启动工具,并等待运行在单独的线程或进程上的工作;
  5. 六级,代表附加的异步感知工具,比如asyncio.Queue,提供与Queue模块类似的API,但原版的get和put方法会阻塞线程,因此这里提供的队列通过增加wait关键字以支持异步;
  6. 七到九级,网络IO层级,对应用开发者来说Stream十分方便,Protocol提供比Stream更细粒度的API,所有能使用Stream的地方都能用Protocol代替,除非要创建一个定制传输协议的框架供他人使用,否则几乎用不到Transport。

小结

在QuickStart中,掌握了快速上手的几个API;现在,对整个asyncio有了清晰的层级划分。这里再对上述知识进行强调:

  1. 第一级,知道如何写async def函数,如何使用await关键字来调用执行其它协程;
  2. 第二级,知道如何与事件循环开关、交互;
  3. 第五级,知道如何在事件循环外运行阻塞程序,由于大多数第三方库都不支持异步,比如ORM库;
  4. 第六级,协程间数据共享使用asyncio.Queue;
  5. 第九级,Stream的API提供了最简单的方式来使用socket进行网络通信。

如果使用提供异步兼容的第三方库,如aiohttp,那么就不用直接使用asyncio的网络层,但这会导致对第三方库的依赖。

随着Python的发展,asyncio库可能会提供更多的API,以上也只是大致地分了几个层级。

asyncio(三)

标签:time   ase   1.0   如何   from   level   tor   获得   一个   

原文地址:https://www.cnblogs.com/ikct2017/p/9721408.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!