更高效的异步爬虫 import asyncio import aiohttp import time #回调函数：解析响应的数据 def callback(task): print("这是解析的回调") #获取到响应数据 page_text = task.result() # print("进行解析 ...
分类：
编程语言 时间：
2019-07-19 12:11:01
阅读次数：
108
IO模型 模型即解决某个问题的固定套路 I/O 指的是输入输出 IO的问题: 当我们要输入数据或是输出数据通常需要很长一段时间,当然是对于CPU而言 在等待输入的过程中,CPU就处于闲置状态 没事干! 造成了资源浪费 注意: IO其实有很多类型,例如,socket网络IO,内存到内存的copy,等待 ...
分类：
其他好文 时间：
2019-07-09 17:59:44
阅读次数：
105
先来看个例子，自己实现的模拟耗时操作 例1 import types import select import time import socket import functools class Future: def __init__(self, , loop=None): self._resul ...
分类：
其他好文 时间：
2019-07-08 23:57:48
阅读次数：
251
要实现异步协程，需要满足几个条件： 1，创建协程对象，且协程内部操作需要支持异步。 2，创建任务对象，如需为协程执行结果进行进一步处理，则需要为任务对象绑定回调函数。 3，创建事件循环，并将任务启动。 注意！： 一个线程内最多大概可以注册500个协程。。任务数过多，需要多线程加异步协程实现。 ...
分类：
Web程序 时间：
2019-06-30 15:39:27
阅读次数：
159
在多个协程中的线性控制流很容易通过内置的关键词await来管理。使用asyncio模块中的方法可以实现更多复杂的结构，它可以并发地完成多个协程。 一、asyncio.wait() 你可以将一个操作分成多个部分并分开执行，而wait(tasks)可以被用于中断任务集合(tasks)中的某个被事件循环轮 ...
分类：
编程语言 时间：
2019-06-23 22:43:58
阅读次数：
151
``` import asyncio import re import typing from concurrent.futures import Executor, ThreadPoolExecutor from urllib.request import urlopen DEFAULT_EXEC... ...
分类：
其他好文 时间：
2019-06-15 18:52:47
阅读次数：
131
```
import random
import asyncio async def random_number_gen(delay, start, end): while True: yield random.randint(start, end) await asyncio.sleep(dela... ...
分类：
其他好文 时间：
2019-06-15 17:18:50
阅读次数：
108
单线程+多任务异步协程: asyncio 异步操作的体现: 当将多个协程对象注册到事件循环中后,事件循环开启时,则会循环执行其内部的协程对象. 假如事件循环对象在执行某一个协程对象时,发生了阻塞,则事件循环会执行下一个协程对象 aiohttp模块: 支持异步的网络请求模块 查看中文文档 点击这里 实 ...
分类：
编程语言 时间：
2019-06-14 22:19:37
阅读次数：
144
python 微服务开发是一本讲python 如果进行微服务开发的实战类书籍，里面包含了几个很不错的python 模块，记录下，方便后期回顾学习 处理并发的模块 greenlet &&gevent twisted && tornado asyncio web api 模块 当然有好多可以使用的，只记 ...
分类：
编程语言 时间：
2019-06-09 09:30:11
阅读次数：
573
[toc] 一、nginx简介 nginx（发音同engine x）是一款轻量级的Web服务器/反向代理服务器及电子邮件（IMAP/POP3）代理服务器，并在一个BSD like协议下发行。 nginx由俄罗斯的程序设计师Igor Sysoev所开发，最初供俄国大型的入口网站及搜寻引擎Rambler ...
分类：
系统相关 时间：
2019-06-04 16:05:00
阅读次数：
129
