码迷,mamicode.com
首页 > 编程语言 > 详细

单线程+异步协程

时间:2019-07-19 12:11:01      阅读:108      评论:0      收藏:0      [点我收藏+]

标签:没有   级别   oba   线程   条件   无限   strong   进一步   ret   

更高效的异步爬虫

技术图片
import asyncio
import aiohttp
import time
#回调函数:解析响应的数据
def callback(task):
    print("这是解析的回调")
    #获取到响应数据
    page_text = task.result()
    # print("进行解析",page_text)
    return "hhahah"
#定义一个特殊的函数,协程
async def get_page(url):
    #用aiohttp 发送请求 aiohttp支持异步
    async with aiohttp.ClientSession() as request:
        async with request.get(url=url) as response:
            page_text = await response.text() # read() json()
            return page_text
s = time.time()

tasks = []
urls = [https://www.baidu.com,
        https://uland.taobao.com,
        https://www.jd.com]
# 创建一个事件循环对象
loop = asyncio.get_event_loop()

for url in urls:
    c = get_page(url)
    task = asyncio.ensure_future(c)
    # 给任务对象绑定回调函数用于解析相应数据
    task.add_done_callback(callback)
    tasks.append(task)

# 蒋多个任务对象对应的列表注册到事件循环中
loop.run_until_complete(asyncio.wait(tasks))
print(time.time() - s)
View Code
  • event_loop:事件循环,相当于一个无限循环,我们可以把一些函数注册到这个事件循环上,当满足条件发生的时候,就会调用对应的处理方法。

  • coroutine:中文翻译叫协程,在 Python 中常指代为协程对象类型,我们可以将协程对象注册到时间循环中,它会被事件循环调用。我们可以使用 async 关键字来定义一个方法,这个方法在调用时不会立即被执行,而是返回一个协程对象。

  • task:任务,它是对协程对象的进一步封装,包含了任务的各个状态。

  • future:代表将来执行或没有执行的任务的结果,实际上和 task 没有本质区别。

  • async:async 定义一个协程。
  • await:await 用来挂起阻塞方法的执行。
  • aiohttp:支持异步发送请求

  注意:

  async/await 关键字,它是从 Python 3.5 才出现的,专门用于定义协程。

  asyncio只能发tcp级别的请求,不能发http协议。

  requests不是异步请求方式,发送请求要用到aiohttp。

单线程+异步协程

标签:没有   级别   oba   线程   条件   无限   strong   进一步   ret   

原文地址:https://www.cnblogs.com/awfj/p/11212411.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!