此文已由作者张耕源授权网易云社区发布。 欢迎访问网易云社区，了解更多网易技术产品运营经验。 在最近发布的 Python 3.5 版本中，官方正式引入了 async/await关键字、在 asyncio [1] 标准库中实现了IO多路复用、原生协程（coroutine）与 事件循环（event loo ...
分类：
编程语言 时间：
2018-11-02 14:29:54
阅读次数：
231
爬取多个网页：串行；多线程。异步IO的各种实现方式：asyncio模块，asyncio+aiohttp，asyncio+requests，gevent+requests，grequests，Twisted，tornado
分类：
编程语言 时间：
2018-10-26 16:28:59
阅读次数：
244
使用python asyncio实现了一个异步代理池，根据规则爬取代理网站上的免费代理，在验证其有效后存入redis中，定期扩展代理的数量并检验池中代理的有效性，移除失效的代理。同时用aiohttp实现了一个server，其他的程序可以通过访问相应的url来从代理池中获取代理。 源码 Github ...
分类：
编程语言 时间：
2018-10-22 16:41:27
阅读次数：
198
Async Comprehensions 目前已经学会了如何在Python中进行异步迭代，接下来的问题是这是否适用于解析式？答案是OJBK！该支持在PEP 530中提及，建议去读一下。 1. 这是个简单的异步生成器； 2. sleep一会，确保这是个异步函数； 3. 观察如何用async for替代 ...
分类：
其他好文 时间：
2018-10-22 11:37:40
阅读次数：
166
Testing with asyncio 之前有说过应用开发者不需要将loop当作参数在函数间传递，只需要调用 即可获得。但是在写单元测试时，可能会需要用多个loop（每个测试用一个单独的loop），问题来了：是否为了支持单元测试而要将loop作为函数参数传入呢？ 先看个例子。 1. 想象一个cor ...
分类：
其他好文 时间：
2018-10-22 11:36:48
阅读次数：
157
Startup and Shutdown Graceful 大部分基于asyncio的程序都是需要长期运行、基于网络的应用，处理这种应用的正确开启与关闭存在惊人的复杂性。 开启相对来说更简单点，常规做法是创建一个task，然后调用loop.run_forever()，就如第三章QuickStart中 ...
分类：
其他好文 时间：
2018-10-22 11:36:31
阅读次数：
387
Async Generators：yield inside async def functions 如果在async def中使用yield会发生什么，答案就是生成一个异步生成器函数，如果有生成器、协程例如Twisted、Tornado等框架或者yield from的使用经验，就会觉得困惑。 因此在 ...
分类：
其他好文 时间：
2018-10-22 11:35:31
阅读次数：
210
Async Iterators: async for 除了 和`await __iter__ __next__`两个特殊方法实现的，如下例。 1. 迭代器必须支持__iter__方法； 2. 值初始化； 3. 返回一个可迭代对象，这个对象可以执行__next__方法，这里A本身就实现了__next_ ...
分类：
其他好文 时间：
2018-10-22 11:33:52
阅读次数：
152
为了在 Python 中快速构建 API，我主要依赖于 Flask。最近我遇到了一个名为 “API Star” 的基于 Python 3 的新 API 框架。由于几个原因，我对它很感兴趣。首先，该框架包含 Python 新特点，如类型提示和 asyncio。而且它再进一步为开发人员提供了很棒的开发体 ...
分类：
编程语言 时间：
2018-10-15 17:07:34
阅读次数：
168
为了在 Python 中快速构建 API，我主要依赖于 Flask。最近我遇到了一个名为 “API Star” 的基于 Python 3 的新 API 框架。由于几个原因，我对它很感兴趣。首先，该框架包含 Python 新特点，如类型提示和 asyncio。而且它再进一步为开发人员提供了很棒的开发体 ...
分类：
编程语言 时间：
2018-10-14 16:32:16
阅读次数：
137
